ЗАГАЛЬНОДОСТУПНІ НАБОРИ ДАНИХ ТА МЕТРИКИ ДЛЯ СПРИЯННЯ ДОСЛІДЖЕННЯМ СИСТЕМ НАДАННЯ ВІДПОВІДЕЙ

Abstract

Системи надання відповідей – це інформаційні системи, призначені для відповідей на запитання, поставлених природною мовою. Останніми роками збільшилася увага дослідників до розробки систем надання відповідей та, разом з цим, збільшилася кількість загальнодоступних наборів тестових даних, які публікуються для сприяння дослідженням у цій галузі обробки текстів природних мов. Дослідження відкритих наборів даних є важливим, оскільки вони дозволяють розробляти кращі системи, які можуть точно відповідати на широкий спектр питань. У цій статті розглядаються загальнодоступні, великі, оригінальні та активно використовувані набори навчальних даних, які застосовуються при дослідженнях систем надання відповідей, а також надані метрики, що застосовуються для порівняння моделей цих систем. Дослідження проводилось з використанням системного підходу, методів абстрагування, системного аналізу, порівняння та синтезу. У результаті роботи було вирішено актуальне наукове завдання, що стосується розвитку методологічної бази розробки інформаційних систем, які здатні відповідати на питання користувача на базі інформації, представленої неструктурованими текстовими колекціями даних, оглянуті наявні загальнодоступні набори даних та метрики оцінки моделей систем надання відповідей, враховуючи останні публікації в цій галузі. Практична значущість такого дослідження полягає в можливості застосування його результатів для розробки та впровадження систем надання відповідей; у процесі викладання дисциплін з обробки природних мов у вищих навчальних закладах; під час написання посібників з обробки природних мов; під час проведення прикладних досліджень пошукових систем та систем надання відповідей.