Comparison of Computer-based and Paper-based Exams: Evidence from PISA

Abstract

Bu makalede sınav modu deǧişikliǧinin (kaǧıt tabanlıdan bilgisayar tabanlıya) PISA'da öǧrencilerin sınav performansı üzerindeki etkilerini araştırdık. 2015 yılında 57 ülkede PISA bilgisayar tabanlı gerçekleşirken, 15 ülke kaǧıt tabanlı PISA almaya devam etti. Bu deǧişikliǧi ve farklardaki fark tahmin yöntemini kullanarak, bilgisayar tabanlı formatın Türk öǧrencilerin matematik, fen ve okuma puanlarını sırasıyla 28.85, 29.52 ve 39.975 puan azalttıǧını bulduk. Bu da OECD ülkelerinin ortalamasına göre matematik ve fen alanlarında yüzde 5.9'luk bir düşüşe, okuma alanında ise yüzde 8.1'lik bir düşüşe karşılık gelmektedir. Ayrıca cinsiyete ve bilgisayar sahipliǧine göre sonuçlarımızın heterojenliǧini araştırdık ve okuma testlerinde erkekler için önemli ölçüde olumsuz etki dışında farklı bir etki olmadıǧını gösterdik.Alternate :We investigate the effects of the exam mode change - from paper-based to computer-based- on PISA on students' exam performance. This change took place in 2015 in 57 countries, while 15 countries continued to take the paper-based PISA. Using this change and the difference-indifferences estimation method, we find that the computer-based format reduced Turkish students' math, science and reading scores by 28.85, 29.52, and 39.975 points which correspond to a 5.9 percent decrease in math and science, and 8.1 percent decrease in reading scores compared to the average scores in OECD countries in the corresponding fields, respectively. We also investigate the heterogeneity of our results by gender and computer possession and show that there is no differential effect except a significantly negative impact for males in reading tests.