Empirical Study on the Loss Functions of Contrastive Learning-based Multi-scale BERT model for Automated EssayScoring

Abstract

에세이 작성은 학생들의 종합적 학습성과를 평가하기에 가장 유용한 방법으로 다양한 분야에서 사용되고 있다. 하지만 에세이 평가는 많은 시간이 소요되고 주관적인 경향이 있어서 사용이 제한적이다. 이를 극복하고자 에세이 평가 자동화에 관한 많은 연구가 진행되었지만, 현실적으로 사용할 수 있는 수준의 성능을 보이지 못하고 있다. 본 논문에서는 에세이 평가 자동화 시스템의 성능을 개선하기 위하여 현재 에세이 평가에서 가장 좋은 성능을 보이는 다중계층 BERT 모델의 평균제곱오차, 유사도, 순위 손실함수에 대조 학습 기반의 손실함수를 새롭게 추가하고, 손실함수 간의 성능을 비교한다. 에세이 평가에서 많이 사용되는 ASAP 데이터 세트를 이용하여 평가한 결과에 따르면, 대조 학습 기반 다중계층 BERT 모델은 기존의 BERT 모델보다 손실함수에 따라서 QWK는 3~4%, Pearson은 3~5% 향상되었다.