Untuk menguji kemampuan dari ChatGPT, tim peneliti dari University Medical Imaging Toronto memberikan 150 soal pilihan ganda yang didesain dengan tingkat kesulitan, isi konten, dan model soal seperti yang diterapkan dalam ujian radiologi di Canadian Royal College dan American Board of Radiology.
Peneliti menggunakan versi ChatGPT terbaru yaitu GPT-4 dan chatbot tersebut berhasil menjawab 121 dari 150 soal dengan benar yang termasuk soal yang bersifat high order thinking (kemampuan berpikir tingkat tinggi).
Baca juga: Banyak pria lajang akan gunakan ChatGPT tipu calon pasangan kencan
Hasil yang ditunjukan GPT-4 lebih baik dibandingkan versi sebelumnya yaitu GPT-3.5 yang umum digunakan masyarakat. GPT-3.5 hanya menjawab 104 soal dengan benar serta mengalami kesulitan dalam menjawab soal high order thinking.
"Riset kami menunjukkan peningkatan mengagumkan terkait performa ChatGPT pada radiologi selama periode waktu yang singkat, hal tersebut menyoroti pertumbuhan potensi dari large language model dalam konteks ini," kata kepala tim riset, Dr. Rajesh Bhayana, M.D., FRCPC dilansir dari laman Medical Xpress yang rilis pada 16 Mei 2023.
Namun percobaan tersebut juga menunjukkan GPT-4 salah dalam menjawab 12 soal yang bisa dijawab dengan benar oleh GPT-3.5 sehingga menimbulkan keraguan terkait dengan ketepatan GPT-4 dalam mengumpulkan informasi.
Baca juga: Perintis AI peringatkan ancaman AI lebih mendesak untuk disikapi
Riset tersebut juga menunjukkan ChatGPT menggunakan bahasa yang meyakinkan dalam menjawab pertanyaan bahkan jika jawaban yang diberikan tidak tepat hal tersebut akan berbahaya apabila dijadikan sumber informasi primer terutama bagi orang-orang awam.
"Bagi saya, ini adalah batasan terbesarnya. Saat ini ChatGPT sebaiknya digunakan untuk mencari ide, membantu proses pembuatan tulisan medis, dan membuat ringkasan data. Jika digunakan untuk mendapatkan informasi cepat, perlu diuji kembali kebenarannya," kata Rajesh.
Baca juga: Iflytek kenalkan SparkDesk sebagai pesaing ChatGPT
Penerjemah: Farhan Arda Nugraha
Editor: Siti Zulaikha
Copyright © ANTARA 2023
