Investigating The Performance of AI-Based Chatbots in Answering Chemistry Questions

Yapay zekâ (AI) son yıllarda sağlık, bankacılık ve finans, teknoloji, endüstri, psikoloji ve eğitim gibi birçok alanda kullanılmaktadır. Özellikle doğal dili anlayan ve dil modellerini etkili bir şekilde kullanarak cevaplar verebilen yapay zekâ tabanlı sohbet robotlarının (chatbot) ortaya çıkmasıyla beraber sohbet robotlarının sorulara verdikleri cevapların doğruluk düzeyi tartışma konusu olmuştur. Bu araştırmanın amacı, iki sohbet robotunun üniversite seviyesinde, Bloom’ un bilişsel alan taksonomisi dikkate alınarak, yüzey gerilimi konusu ile ilgili hazırlanmış sorulara verdikleri cevapların doğruluk düzeylerini belirlemektir. Araştırmanın deseni durum çalışması olarak belirlenmiştir. Veri toplama aracı olarak yüzey gerilimi ile ilgili Bloom’ un bilişsel alan taksonomisi dikkate alınarak hazırlanmış altı adet açık uçlu sorudan oluşan ölçek kullanılmıştır. Sohbet robotlarının yüzey gerilimi ile ilgili sorulara verdiği cevaplar üç uzman tarafından değerlendirilmiştir. Araştırmanın bulgularına göre sohbet robotlarının 60 puan üzerinden 35 ve 38 puan aldıkları, aynı sorularda aynı puan ortalamalarına sahip oldukları, çözümleme düzeyindeki soruyu yanlış cevapladıkları, yaratma düzeyindeki sorudan en yüksek puanı aldıkları ve cevaplarında yanlışlıklar/eksiklikler olduğu ancak açıklamalarının %66,7 oranında net olduğu belirlenmiştir. Bu sonuçlardan yola çıkarak; sohbet robotlarının performansının zorluk seviyesi kolaydan zora doğru olan farklı konularda belirlendiği, istem (prompt) girişinin birden fazla yapılarak bu uygulamanın daha doğru cevapların üretilmesine etki edip etmediği ve sohbet robotların cevaplarında yanlış kavramaların olup olmadığının belirlendiği çalışmaların yapılması önerilmektedir