Eigenschaften von natürlichsprachlichen Topics in Information Retrieval Experimenten

Zusammenfassung: In empirischen Evaluierungsstudien im Information Retrieval stellt sich immer wieder Frage nach der Validität der Ergebnisse. Eine Analyse der Topics des Cross Language Evaluation Forum (CLEF) sollte zeigen, ob linguistische Eigenschaften der Formulierungen der Topics Rückschlüsse auf die Qualität von Retrievalergebnisse zulassen. Für die englischen Topics konnten nur schwache Korrelationen zwischen durchschnittlicher Retrievalqualität und der Gesamtanzahl linguistischer Phänomene nachgewiesen werden. Für die Kombination von Retrievalsystemen, ihren Eigenschaften und den Eigenschaften den CLEF-Topics konnten keine Beziehungen gefunden werden.