Puanlayıcılar Arası Güvenirlik Belirleme Tekniklerinin Karşılaştırılması

Abstract

Bu arastirmada dereceli puanlama anahtari turu ve puanlayici sayisi degisiminin, puanlayici guvenirligini belirlemede kullanilan tekniklerden elde edilen sonuclar uzerindeki etkisi incelenmistir. Arastirmanin calisma grubu, 50 ogrenci ve puanlama yapan 10 ogretmenden olusmaktadir. Betimsel nitelik tasiyan arastirmada puanlayici guvenirligini belirlemede Kappa istatistik teknigi, log linear analiz teknigi ve Krippendorff alfa teknigi kullanilmistir. Puanlayici sayisi degisiminin puanlayici guvenirligine etkisini incelemek adina belirtilen uc teknik kullanilarak iki, bes ve on puanlayici arasindaki uyum duzeyleri hesaplanmistir. Arastirmada uc teknikten elde edilen analiz sonuclarinda, analitik puanlama anahtari kullanimiyla elde edilen puanlarda, puanlayici sayisi artisinin guvenirlik duzeyini dusurdugu tespit edilmistir. Uc teknikle yapilan analizlerde, en yuksek guvenirlik degerleri iki puanlayici kullanildiginda elde edilmis, puanlayici sayisi artirildikca guvenirligin dustugu saptanmistir. Analitik puanlama anahtarini olusturan kategoriler incelendiginde kategoriler arasinda objektiflik duzeyine dayali olarak, puanlayicilarin uyum duzeylerinde degiskenlik oldugu saptanmistir.  Arastirmanin sonucunda, kullanilan tekniklerden Kappa teknigi ve Krippendorff alfa tekniginin paralel sonuclar verdigi gorulmustur. Bununla birlikte Krippendorff alfa tekniginin puanlayici sayisi degisiminden Kappa teknigine gore daha az etkilendigi belirlenmistir. Log-linear analiz tekniginin ise degiskenler arasindaki etkilesimleri ve uyumsuzluk kaynagini gosteren daha kapsamli ve genis bilgi sagladigi tespit edilmistir.  Sonuc olarak, daha detayli olcme sonuclari elde edilmek istendiginde alt kategorilerden olusan analitik puanlama anahtari kullanilarak toplanan puanlarin, kategorik veri analizi icin uygun olan log-linear analiz tekniginin; daha genel olcme sonuclarina ulasilmak istendiginde ise butunsel puanlama anahtari ile elde edilen puanlarin Krippendorff alfa tekniginin kullanilmasinin uygun oldugu dusunulmektedir.