评估学士学位论文作为后续硕士研究的录取标准：心理测量案例报告

Q3 Social Sciences

Studia Paedagogica Pub Date : 2020-10-22 DOI:10.17605/OSF.IO/QX5U7

Hynek Cígler, Stanislav Ježek, Jan Širůček, Lenka Lacinová

{"title":"评估学士学位论文作为后续硕士研究的录取标准：心理测量案例报告","authors":"Hynek Cígler, Stanislav Ježek, Jan Širůček, Lenka Lacinová","doi":"10.17605/OSF.IO/QX5U7","DOIUrl":null,"url":null,"abstract":"V roce 2020 epidemie covid‑19 znemožnila konání přijímací zkoušky do navazujícího magisterského studia psychologie na Masarykově univerzitě formou běžného písemného znalostního testu. Zvolili jsme proto náhradní formu v podobě hodnocení bakalářských prací. Tento článek je \"psychometrickou kazuistikou\", která dokumentuje celý postup od tvorby hodnoticích kritérií s ohledem na obsahovou validitu přes volbu designu až po výsledky. Každou práci hodnotili dva náhodně vylosování hodnotitelé, jejichž \"přísnost\" byla vyvážena využitím logistického lineárního testového modelu (LLTM) v rámci paradigmatu teorie odpovědi na položku (IRT). Výsledkem byl jednodimenzionální skór, férově vyvážený napříč dvěma přijímacími termíny (n1 = 82, n2 = 48) a 18 hodnotiteli. Jeho reliabilita, rxx' = 0,869, byla srovnatelná s písemnými testy v jiných letech. Přísnost hodnotitelů a obtížnost kritérií se nelišily napříč oběma termíny, výsledné hodnocení se zdá být validním ukazatelem a srovnatelně férové s písemným testem. Navržená procedura tak může posloužit jiným pracovištím a k jiným účelům, než je jen přijímací test; z těchto důvodů sdílíme analytický skript a veškeré materiály nezbytné pro replikaci celé procedury.","PeriodicalId":37607,"journal":{"name":"Studia Paedagogica","volume":null,"pages":null},"PeriodicalIF":0.0000,"publicationDate":"2020-10-22","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":"{\"title\":\"Hodnocení bakalářských prací jako přijímací kritérium do navazujícího magisterského studia : psychometrická kazuistika\",\"authors\":\"Hynek Cígler, Stanislav Ježek, Jan Širůček, Lenka Lacinová\",\"doi\":\"10.17605/OSF.IO/QX5U7\",\"DOIUrl\":null,\"url\":null,\"abstract\":\"V roce 2020 epidemie covid‑19 znemožnila konání přijímací zkoušky do navazujícího magisterského studia psychologie na Masarykově univerzitě formou běžného písemného znalostního testu. Zvolili jsme proto náhradní formu v podobě hodnocení bakalářských prací. Tento článek je \\\"psychometrickou kazuistikou\\\", která dokumentuje celý postup od tvorby hodnoticích kritérií s ohledem na obsahovou validitu přes volbu designu až po výsledky. Každou práci hodnotili dva náhodně vylosování hodnotitelé, jejichž \\\"přísnost\\\" byla vyvážena využitím logistického lineárního testového modelu (LLTM) v rámci paradigmatu teorie odpovědi na položku (IRT). Výsledkem byl jednodimenzionální skór, férově vyvážený napříč dvěma přijímacími termíny (n1 = 82, n2 = 48) a 18 hodnotiteli. Jeho reliabilita, rxx' = 0,869, byla srovnatelná s písemnými testy v jiných letech. Přísnost hodnotitelů a obtížnost kritérií se nelišily napříč oběma termíny, výsledné hodnocení se zdá být validním ukazatelem a srovnatelně férové s písemným testem. Navržená procedura tak může posloužit jiným pracovištím a k jiným účelům, než je jen přijímací test; z těchto důvodů sdílíme analytický skript a veškeré materiály nezbytné pro replikaci celé procedury.\",\"PeriodicalId\":37607,\"journal\":{\"name\":\"Studia Paedagogica\",\"volume\":null,\"pages\":null},\"PeriodicalIF\":0.0000,\"publicationDate\":\"2020-10-22\",\"publicationTypes\":\"Journal Article\",\"fieldsOfStudy\":null,\"isOpenAccess\":false,\"openAccessPdf\":\"\",\"citationCount\":\"0\",\"resultStr\":null,\"platform\":\"Semanticscholar\",\"paperid\":null,\"PeriodicalName\":\"Studia Paedagogica\",\"FirstCategoryId\":\"1085\",\"ListUrlMain\":\"https://doi.org/10.17605/OSF.IO/QX5U7\",\"RegionNum\":0,\"RegionCategory\":null,\"ArticlePicture\":[],\"TitleCN\":null,\"AbstractTextCN\":null,\"PMCID\":null,\"EPubDate\":\"\",\"PubModel\":\"\",\"JCR\":\"Q3\",\"JCRName\":\"Social Sciences\",\"Score\":null,\"Total\":0}","platform":"Semanticscholar","paperid":null,"PeriodicalName":"Studia Paedagogica","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.17605/OSF.IO/QX5U7","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"Q3","JCRName":"Social Sciences","Score":null,"Total":0}

引用次数: 0

摘要

2020年，新冠肺炎疫情使Masaryk大学无法以常规书面知识考试的形式参加心理学硕士入学考试。因此，我们选择了学士学位论文评价的替代形式。这篇文章是一份“心理测量案例报告”，它记录了从内容有效性评估标准的创建到设计选择再到结果的整个过程。每项工作都由两名随机抽取的评估者进行评估，他们的“严谨性”通过在项目反应理论范式（IRT）中使用物流线性测试模型（LLTM）来平衡。结果是一维的分数，在两个入院日期（n1O82，n2O48）和18名评审员之间相当平衡。它的可靠性rxx'=0869，与其他年份的书面测试相当。评估人员的严谨性和标准的难度在两个日期都没有差异，由此产生的评估似乎是一个有效的指标，与笔试相比相当公平。因此，拟议的程序可以服务于其他工作场所，并用于不仅仅是入学考试的目的；出于这些原因，我们共享分析脚本和复制整个过程所需的所有材料。

本文章由计算机程序翻译，如有差异，请以英文原文为准。

查看原文本刊更多论文

Hodnocení bakalářských prací jako přijímací kritérium do navazujícího magisterského studia : psychometrická kazuistika

V roce 2020 epidemie covid‑19 znemožnila konání přijímací zkoušky do navazujícího magisterského studia psychologie na Masarykově univerzitě formou běžného písemného znalostního testu. Zvolili jsme proto náhradní formu v podobě hodnocení bakalářských prací. Tento článek je "psychometrickou kazuistikou", která dokumentuje celý postup od tvorby hodnoticích kritérií s ohledem na obsahovou validitu přes volbu designu až po výsledky. Každou práci hodnotili dva náhodně vylosování hodnotitelé, jejichž "přísnost" byla vyvážena využitím logistického lineárního testového modelu (LLTM) v rámci paradigmatu teorie odpovědi na položku (IRT). Výsledkem byl jednodimenzionální skór, férově vyvážený napříč dvěma přijímacími termíny (n1 = 82, n2 = 48) a 18 hodnotiteli. Jeho reliabilita, rxx' = 0,869, byla srovnatelná s písemnými testy v jiných letech. Přísnost hodnotitelů a obtížnost kritérií se nelišily napříč oběma termíny, výsledné hodnocení se zdá být validním ukazatelem a srovnatelně férové s písemným testem. Navržená procedura tak může posloužit jiným pracovištím a k jiným účelům, než je jen přijímací test; z těchto důvodů sdílíme analytický skript a veškeré materiály nezbytné pro replikaci celé procedury.

求助全文

通过发布文献求助，成功后即可免费获取论文全文。去求助

来源期刊

Studia Paedagogica Social Sciences-Education

CiteScore

1.00

自引率

0.00%

发文量

审稿时长

12 weeks

期刊介绍： Studia Paedagogica publishes original papers on education, upbringing and learning from all spheres of social life. The papers are theoretical, but mainly empirical as the journal publishes research undertaken in the Czech Republic and abroad. The journal publishes only original research papers and is open to both experienced and early researchers. Early researchers can publish their papers in the section Emerging Researchers of the journal and are offered intensive editorial support. The journal is interdisciplinary - it covers current topics in educational research while at the same time providing scope for studies grounded in other social sciences. The journal publishes four issues per year, two issues are dedicated to general interest articles and are in Czech, two issues are on a single topic and are in English. Studia Paedagogica is a peer reviewed journal published by the Masaryk University. The executive editors are members of the staff of the Department of Educational Sciences and the editorial board comprises of international experts. The name of the journal is derived from the name of its predecessor, Studia minora facultatis philosophicae universitatis brunensis (Sborník prací filozofické fakulty brněnské univerzity), which was issued from 1996 to 2008. However, the tradition of the journal dates much further back as the pedagogical-psychological series of the journal was published even between 1966 to 1995.