Akademik Veri Yönetim Sistemi
Türkiye Klinikleri Diş Hekimliği Bilimleri Dergisi, cilt.31, sa.3, ss.401-406, 2025 (TRDizin)
Dönüştürücünün [Generative Pre-trained Transformer (ChatGPT)] verdiği yanıtların güvenirliliğini değerlendirmek ve başarı oranını tespit etmektir. Gereç ve Yöntemler: Çalışmada kullanılan yapay zekâ programı ve değerlendirilen DUS çocuk diş hekimliği soruları kamuya açık kaynaklardır ve bu sebeple çalışma için etik kurul onayı gerekmemektedir. Ölçme, Seçme ve Yerleştirme Merkezi'nin resmi internet sitesinde yayınlanmış 2012-2021 yılları arasında gerçekleştirilen 13 adet DUS'ta sorulan toplam 130 çocuk diş hekimliği sorusu (her sınavda 10 adet soru vardır, 3 adedi iptal edilmiştir) çalışmaya dâhil edilmiştir. Çalışmada yapay zekâ programı olarak ChatGPT 3.5 ücretsiz versiyonu kullanılmıştır. 127 adet çoktan seçmeli çocuk diş hekimliği sorusu sırasıyla ChatGPT'ye sorulmuş ve verilen cevaplar kaydedilmiştir. Verilen yanıtların güvenirliliği ve doğruluğu istatistiksel olarak analiz edilmiştir. Bulgular: ChatGPT toplam 127 sorunun 69'una doğru cevap vermiştir ve başarı oranı %54,3 olarak tespit edilmiştir. En yüksek başarı oranı %90 ile 2014 sonbahar sınavında iken, en düşük başarı oranı ise %10 ile 2019-2015 sınavlarında elde edilmiştir. Analizler sonucunda 2014 sonbahar dönemi ve 2020 yılı sorularına ChatGPT'nin istatistiksel olarak anlamlı derecede doğru cevap verdiği bulunmuştur (p<0,05). Farklı zamanlarda sorulan aynı sorulara ChatGPT aynı cevapları vermektedir. Sonuç: ChatGPT'nin DUS çocuk diş hekimliği sorularını yanıtlamada güvenilir bir kaynak olmadığı, başarı oranının beklenenden az ve yapay zekânın verdiği yanıtların tartışmalı olduğu sonucuna varılmıştır. DUS çocuk diş hekimliği soruların yanıtları için ChatGPT kullanan öğrencilerin verilen yanıtları gözden geçirmesi gerektiği ve yanıtlara şüphe ile yaklaşması gerektiği kanaatindeyiz. Yapay zekânın gelişmesi ve başarı oranının artması ile ChatGPT türevi programların diş hekimliği eğitiminde kullanılması daha etkin ve güvenilir olacaktır.
Objective: The aim of the study was to evaluate the reliability of Generative Pre-trained Transformer (ChatGPT) answers to pedodontic questions asked in the dental specialization training entrance exam [diş hekimliğinde uzmanlık eğitim giriş sınavı (DUS)] and to determine the success rate. Material and Methods: The artificial intelligence program used and evaluated DUS pedodontic questions are publicly available resources, therefore; ethics committee approval is not required for this study. A total of 130 pedodontic questions (10 in each exam, 3 of them cancelled) asked in 13 DUS between 2012-2021, published on the official website of the Measuring, Selection and Placement Center (Ölçme, Seçme ve Yerleştirme Merkezi), were included in the study. ChatGPT 3.5 free version was used as an artificial intelligence program. When the 3 canceled questions were removed, a total of 127 multiple-choice pedodontic questions were asked to ChatGPT respectively and the answers were recorded. The reliability and accuracy of the answers were statistically analyzed. Results: ChatGPT answered 69 out of 127 questions correctly and the success rate was 54.3%. The highest success rate was 90% in the 2014 fall exam, while the lowest success rate was 10% in the 2019-2015 exams. As a result of the analysis, it was found that ChatGPT gave statistically significant correct answers to the questions of 2014- fall and 2020 exams (p<0.05). ChatGPT gives the same answers to the same questions asked at different times. Conclusion: ChatGPT is not a reliable source for answering DUS pedodontic questions, the success rate is lower than expected and the answers given by artificial intelligence are controversial. Students who use ChatGPT for DUS pedodontic questions should review the answers given and approach the answers with skepticism. With the development of artificial intelligence and the increase in the success rate, the use of ChatGPT-derived programs in dentistry education will be more effective and reliable.