Annotation, évaluation et mesure d’accord en linguistique de corpus

Abstract

La constitution et l’evaluation de ressources annotees ainsi que des systemes automatiques d’annotation revetent une importance grandissante en linguistique et en TAL. Pour autant, les methodes d’evaluation ne sont pas toujours maitrisees ni utilisees a bon escient, notamment en linguistique ou la nature sequentielle des donnees textuelles necessite des methodes specifiques. Dans cet article, nous analysons tout d’abord les notions de corpus et d’annotation dans leurs multiples formes, puis nous nous focalisons sur les questions d’evaluation qui en resultent. Nous insistons en particulier sur la difference de nature qui existe entre l’evaluation d’un systeme d’annotation et l’evaluation de ressources multi-annotees manuellement, et nous donnons un apercu des outils d’evaluation existants et leur usage possible dans chacun de ces deux cas.