从 NEAP 阅读项目自动评分的数据挑战赛中汲取的公平性评估经验

Abstract

自然语言处理(NLP)在各个领域被广泛用于预测学生开放式反应的人为评分 (Johnson et al., 2022)。保证基于学生人口统计学因素的算法公平是至关重要的 (Madnani et al., 2017)。本研究对数据挑战赛中表现最好的六个参赛者进行了公平性分析，涉及20个NEAP阅读理解项目，这些项目最初是基于种族和性别进行公平性分析的。本研究描述了包括英语语言学习者身份(ELLs)、个人教育计划以及免费/优惠午餐在内的附加公平性评估。许多项目在成绩预测上表现出较低的准确性，其中对ELLs表现得最为明显。本研究推荐在评分公平性评估中纳入额外的人口统计学因素，同样，公平性分析需要考虑多重因素和背景。