PISA Ölçütünde Metinsellik Rubriği Geliştirme: Geçerlik ve Güvenirlik Çalışması

Turkish Journal of Primary Education Pub Date : 2021-05-19 DOI:10.52797/tujped.796710

Ahmet Benzer, Büşra Evci

{"title":"PISA Ölçütünde Metinsellik Rubriği Geliştirme: Geçerlik ve Güvenirlik Çalışması","authors":"Ahmet Benzer, Büşra Evci","doi":"10.52797/tujped.796710","DOIUrl":null,"url":null,"abstract":"Calismada ders kitaplarindaki metinleri degerlendirmek uzere “PISA Olcutunde Metinsellik Rubrigi”nin (POMR) gelistirilmesi amaclanmistir. Veriler 2019-2020 egitim-ogretim yilinda okutulan ortaokul (5-8. sinif) Turkce ders kitaplarinda serbest okuma metni olarak yer alan ve PISA’nin surekli metin ozelliklerini tasiyan 20 okuma metninin 4 bagimsiz puanlayici tarafindan puanlanmasiyla elde edilmistir. Analitik rubrik icin olcut atanirken PISA 2018 okuma becerileri degerlendirme cercevesindeki bilissel surecler ve okuma yeterlik duzeyleri dikkate alinmistir. Her olcut icin 3 farkli basari derecesi tanimlanmistir. Gelistirilen analitik rubrigin gecerlik kanitlarinin saglanmasi icin oncelikle 8 uzmanin gorusune basvurulmustur. Toplanan uzman tepkileri uzerinden her bir olcut icin kapsam gecerlik orani hesaplanmistir. Uzman gorusunden gelen donutler ile gecerlik kaniti olmasi amaciyla temel bilesenler analizi uygulanmistir. Analitik rubrigin guvenirlik kanitlari icin hesaplanan sinif ici korelasyon katsayisi .96 ve Cronbach alfa degeri .96 olarak bulunmustur. Puanlayicilar arasi guvenirlige kanit saglamak icin 2 Turkce ogretmeninin yaptigi puanlamalar uzerinden agirliklandirilmis Kappa hesaplanmistir. Elde edilen agirliklandirilmis Kappa katsayisi testine gore analitik rubrigin olcutleri iyi ve cok iyi uyusma gostermistir. Yapilan calismalarla “bilgiye ulasma”, “anlama” ve “derinlemesine dusunme ve degerlendirme” olmak uzere 3 ana olcut ve toplam 8 alt olcutten olusan “PISA Olcutunde Metinsellik Rubrigi” gelistirilmistir. Gelistirilen analitik rubrigin gecerli ve guvenilir bir olcme araci oldugu sonucuna ulasilmistir.","PeriodicalId":235314,"journal":{"name":"Turkish Journal of Primary Education","volume":"25 1","pages":"0"},"PeriodicalIF":0.0000,"publicationDate":"2021-05-19","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Turkish Journal of Primary Education","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.52797/tujped.796710","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}

引用次数: 0

Abstract

Calismada ders kitaplarindaki metinleri degerlendirmek uzere “PISA Olcutunde Metinsellik Rubrigi”nin (POMR) gelistirilmesi amaclanmistir. Veriler 2019-2020 egitim-ogretim yilinda okutulan ortaokul (5-8. sinif) Turkce ders kitaplarinda serbest okuma metni olarak yer alan ve PISA’nin surekli metin ozelliklerini tasiyan 20 okuma metninin 4 bagimsiz puanlayici tarafindan puanlanmasiyla elde edilmistir. Analitik rubrik icin olcut atanirken PISA 2018 okuma becerileri degerlendirme cercevesindeki bilissel surecler ve okuma yeterlik duzeyleri dikkate alinmistir. Her olcut icin 3 farkli basari derecesi tanimlanmistir. Gelistirilen analitik rubrigin gecerlik kanitlarinin saglanmasi icin oncelikle 8 uzmanin gorusune basvurulmustur. Toplanan uzman tepkileri uzerinden her bir olcut icin kapsam gecerlik orani hesaplanmistir. Uzman gorusunden gelen donutler ile gecerlik kaniti olmasi amaciyla temel bilesenler analizi uygulanmistir. Analitik rubrigin guvenirlik kanitlari icin hesaplanan sinif ici korelasyon katsayisi .96 ve Cronbach alfa degeri .96 olarak bulunmustur. Puanlayicilar arasi guvenirlige kanit saglamak icin 2 Turkce ogretmeninin yaptigi puanlamalar uzerinden agirliklandirilmis Kappa hesaplanmistir. Elde edilen agirliklandirilmis Kappa katsayisi testine gore analitik rubrigin olcutleri iyi ve cok iyi uyusma gostermistir. Yapilan calismalarla “bilgiye ulasma”, “anlama” ve “derinlemesine dusunme ve degerlendirme” olmak uzere 3 ana olcut ve toplam 8 alt olcutten olusan “PISA Olcutunde Metinsellik Rubrigi” gelistirilmistir. Gelistirilen analitik rubrigin gecerli ve guvenilir bir olcme araci oldugu sonucuna ulasilmistir.

查看原文本刊更多论文

本研究旨在开发 "PISA文本性评分标准（POMR）"，以评估教科书中的文本。数据由 4 名独立评分员对 20 篇阅读文本进行评分获得，这些文本作为自由阅读文本收录在 2019-2020 学年教授的中学（5-8 年级）土耳其语教科书中，符合 PISA 的连续文本特征。在为分析评分标准分配项目时，考虑了 PISA 2018 阅读技能评估框架中的认知过程和阅读能力水平。每个维度定义了三个不同的成绩等级。为了给制定的分析评分标准提供有效性证据，首先咨询了 8 位专家的意见。根据收集到的专家答复，计算出每个维度的内容效度。对专家答复进行了主成分分析，以提供有效性证据。为分析评分标准的可靠性计算出的类内相关系数为 0.96，克朗巴赫α为 0.96。为了证明评分者之间的可靠性，对两名土耳其语言教师的评分进行了加权卡帕计算。根据加权卡帕系数检验，分析评分标准的各维度显示出良好和非常良好的一致性。根据所开展的研究，制定了 "PISA 中的文本性评分标准"，包括三个主要评分标准，即 "获取信息"、"理解 "和 "深入思考与评价"，以及总共 8 个次级评分标准。结论是，所开发的分析评分标准是一种有效、可靠的评估工具。

本文章由计算机程序翻译，如有差异，请以英文原文为准。

求助全文

约1分钟内获得全文求助全文

来源期刊

Turkish Journal of Primary Education

自引率

0.00%

发文量