ChatGPT dapat nilai tinggi ujian dokter, tapi kesulitan jawab soal anak kelas 6 SD

Techno.id - ChatGPT menjadi salah satu platform berbasis AI yang menghebohkan jagat teknologi dunia. Pasalnya ChatGPT mampu menjawab berbagai pertanyaan dari mudah hingga ke perintah sulit sekali pun. Bahkan berbagai uji coba telah dilakukan, termasuk menguji ChatGPT untuk dapat menjawab tes ujian kedokteran di AS.

Hasilnya, ChatGPT mampu mendapatkan nilai tinggi. ChatGPT berhasil mendapatkan skor antara 52,4% dan 75% di tiga ujian USMLE. ChatGPT juga menunjukkan kesesuaian 94,6% pada semua responsnya dan menghasilkan setidaknya satu wawasan signifikan (sesuatu yang baru, tidak jelas, dan valid secara klinis) untuk 88,9% dari responsnya. Melalui hasil itu, ChatGPT sudah layak mendapatkan lisensi dokter di AS.

Kendati dapat menjawab tes sulit untuk para mahasiswa kedokteran tersebut, ternyata ChatGPT malah kesulitan dalam menjawab soal kelas anak 6 SD. Lantas bagaimana faktanya? Berikut techno.id sajikan hasil tes ChatGPT menjawab pertanyaan matematika dan ilmu IPA anak kelas sekolah dasar, pada Jumat (24/2) dari laman The Straits Times Singapura.

ChatGPT yang mampu menjawab berbagai pertanyaan sulit, bahkan dapat lolos seleksi pegawai Google ini dinyatakan kesulitan dalam menjawab soal kelas 6 SD. Hal tersebut diambil dari uji coba dilakukan oleh media asal Singapura, The Straits Times beberapa waktu lalu.

ChatGPT tidak bisa jawab pertanyaan

Eksperimen dilakukan dengan menyodori ChatGPT dengan soal ujian Primary School Leaving Exam (PSLE). Sebagai informasi, negara Singapura memberikan ujian PSLE untuk siswa Sekolah Dasar agar dapat melanjutkan ke jenjang berikutnya. Dalam ujian, ChatGPT diberikan soal matematika, sains, dan bahasa Inggris dari lembaran PSLE tahun 2020 sampai 2022.

foto: Chat.openai.com

Namun siapa sangka, alih-alih mendapatkan nilai terbaik dan lolos secara gampang, ChatGPT malah mendapatkan nilai terbilang buruk. Rata-rata nilai Chat GPT adalah 16 dari 100 untuk soal matematika yang dikerjakan. ChatGPT mengalami kesulitan menjawab pertanyaan karena tidak dapat menjawab pertanyaan seputar diagram dan grafik, sehingga mendapat nilai nol untuk soal tersebut.

Chatbot besutan OpenAI itu juga tidak bisa menjawab pertanyaan pertambahan yang sederhana. ChatGPT kemudian mendapat nilai rata-rata 21 dari 100 untuk mata pelajaran IPA.

Sedangkan saat diuji dengan soal bahasa Inggris, ChatGPT mendapat hasil baik. Chatbot ini mendapatkan nilai rata-rata 11 dari 20 untuk tiga lembar soal yang dikerjakan.

Kendati demikian, chatbot ini masih mengalami kesulitan terutama untuk pertanyaan dengan kata bermakna ganda. Sebagai contoh, apabila pertanyaan memuat kata "value" atau nilai, Chat GPT mengartikan kata tersebut dalam konteks keuangan. Padahal, "value" yang dimaksud dalam soal tersebut merujuk pada prinsip moral.

Lebih lanjut, ChatGPT yang dikembangkan oleh OpenAI tentu masih memiliki bug. Ada beberapa kasus dimana ChatGPT tidak dapat menjawab pertanyaan maupun memberikan informasi kepada pengguna. Hal ini karena ChatGPT masih dalam tahap pengembangan oleh Developer. Bahkan terbilang ChatGPT menjadi kelinci percobaan untuk platform Bing milik Microsoft.

Diketahui Bing menggunakan skema kecerdasan buatan sama seperti ChatGPT. Tentu hal ini bukan suatu hal luar biasa. Mengingat bos Microsoft, Bill Gates menanamkan modal besar agar ChatGPT dapat dikembangan.

Saat ini ChatGPT menjadi wadah bagi banyak orang untuk mendapatkan informasi. Bahkan diproyeksikan ChatGPT dapat diterapkan dalam kegiatan produktif setiap hari.