Using Data Structure Properties in Decision Tree Classifier Design

Abstract

Using Data Structure Properties in Decision Tree Classifier Design This paper studies the techniques of performance enhancement for decision tree classifiers (DTC) that are based on data structure analysis. To improve the performance of DTC, two methods are used - class decomposition that uses the structure of class density and taxonomy based DTC design that uses interactions between attribute values. The paper shows experimental exploration of the methods, their strengths and imperfections and also outlines the directions for further research. Datu struktūras īpašību izmantošana lēmumu koku klasifikatoru projektēšanā Rakstā tiek apskatītas lēmumu koku klasifikatoru veiktspējas uzlabošanas metodes ar mērķi izveidot efektīvākus un kompaktākus klasifikācijas kokus, izmantojot algoritmus C4.5 un CART. Tiek apskatītas divas klasifikatoru efektivitātes uzlabošanas metodes - klašu dekompozīcija un uz ontologijas balstīta lēmumu koku būvēšana. Klašu dekompozīcijā tiek izmantota meta-informācija par klases iekšējo struktūru, lai pielāgotu lēmumu kokus sarežgītajai klašu struktūrai. Metodes pamatā tiek veikta hierarhiskā klasterizācija katras klases iekšienē, lai noskaidrotu blīvuma apgabalus (klasterus, kas noteikti izmantojot hierarhisko aglomeratīvo klasterizāciju), un tad šie blīvuma apgabali tiek izmantoti kā apakšklases klasifikācijas uzdevumā, kura risināšanai tiek pielietoti algoritmi C4.5 un CART. Uz ontologijas balstītā koku būvēšanā tiek izmantota informācija par atribūta vērtību savstarpējām sakarībām, kas tiek attēlota atribūtu vērtību taksonomijā (hierarhiska atribūtu vērtību struktūra, kas balstās uz atribūtu vērtību savstarpējām līdzībām). Taksonomiju veidošanai eksperimentu gaitā tika izmantotas manuālā un AVT-Learner metodes. Pēc taksonomiju izveidošanas uz to pamata tiek būvēti lēmumu koki, kas var izmantot atribūtu vērtības dažādos abstrakcijas līmeņos, būvējot precīzākus un kompaktākus kokus. Tika veikti praktiski eksperimenti, izmantojot abas piedāvātās metodes un Internetā par brīvu pieejamās datu bāzes, lai izpētītu abu metožu darbības principus. Eksperimenti pierādīja, ka šādu metožu pielietošana, klasifikatoru veidošanā izmantojot informāciju par datu struktūru, ievērojami uzlabo klasifikatoru veiktspēju un tiek būvēti kompaktāki lēmumu koki. Abu metožu vienlaicīga izmantošana nedeva papildus ieguvumus klasifikācijas precizitātē bet lielākoties tika samazināti koku lielumi. Использование характеристик структуры данных для построения классификаторовдеревьев решений Работа посвящена методам повышения эффективности классификаторов деревьев решений с целью создания более эффективных и компактных деревьев классификации с использованием алгоритмов и CART. Рассмотрены два метода повышения эффективности классификаторов - декомпозиция классов и построение деревьев решений на основе онтологии. В декомпозиции классов используется мета - информация о внутренней структуре классов, чтобы адаптировать деревья решений к сложной структуре классов. В основе метода лежит иерархическая кластеризация в пределах каждого класса для определения областей плотности (кластеров, определенных иерархической агломеративной кластеризацией) затем области плотности используются в качестве подклассов в задачеклассификации, для решения которой используются алгоритмы и CART. В построении деревьев решений на основе онтологии используется информация о взаимосвязи между значениями атрибута, которая отображается в таксономии значений атрибута (иерархическая структура значений атрибута на основе сходства значений). Для построения таксономийв ходе эксперимента были использованы методы мануального проектированияи AVT-Learner. После создания таксономий на их основе строятся деревья решений, которые могут использовать значения атрибутов на разных уровнях абстракции для построения более точных и компактных деревьев. Для изучения работы методов была проведенасерия экспериментов с использованием предложенных методов и баз данных, свободно доступных в Интернете. Эксперименты показали, что использование методов, которые используют информацию о структуре данных при построении классификаторов, существенно повышает производительность классификаторов, и деревья решений получаются более компактными. Оба метода, использованные в совокупности, не дали Ополнительногоулучшения точности классификации, но в большинстве случаев были снижены размеры дерева.