Avaliação Automática de Ensaios, em português, centrada em atributos linguı́sticos de superfı́cie e de conteúdo

Abstract

Cresce a necessidade de ambientes inteligentes para o ensino a distância. Um dos seus elementos é um sistema de avaliação automática de questões conceituais discursivas. Neste trabalho, propõe-se um método de avaliação automática de ensaio na lı́ngua portuguesa baseado no refinamento de atributos de conteúdo (semânticos), de coerência e estatı́sticos de superfı́cie para predizer a pontuação de um ensaio. A acurácia do sistema (SxH) foi contrastada com a acurácia medida entre dois avaliadores humanos (HxH), o que resultou num valor de erro médio de 0.91 SxH contra 0.89 HxH e numa acurácia kappa quadrático de 0.62 SxH contra 0.52 HxH. Este estudo mostra que esta tecnologia está alcançando maturidade para o uso em ambientes.