P. H. Lima, W. S. Martins, Leonardo Andrade Ribeiro
{"title":"Avaliação Comparativa de Técnicas baseadas em Deep Learning para Identificação de Duplicatas","authors":"P. H. Lima, W. S. Martins, Leonardo Andrade Ribeiro","doi":"10.5753/erigo.2022.227704","DOIUrl":null,"url":null,"abstract":"Dados de aplicações possuem inevitavelmente inconsistências que podem causar mal funcionamento em operações rotineiras e compromenter resultados analíticos. Um tipo particular de inconsistência é a presença de duplicatas, isto é, múltiplas e não idênticas representações da mesma informação. A identificação de duplicatas é difícil porque elas não são cópias idênticas entre si. Recentemente, DeepMatcher e Ditto, duas soluções baseadas em deep learning, obtiveram resultados do estado da arte em identificação de duplicatas. Entretanto, DeepMatcher e Ditto não consideraram duplicatas com variações textuais em nível de caracteres em seus experimentos; tais variações são pervasivas em bancos de dados do mundo real. Este artigo apresenta uma avaliação comparativa do DeepMatcher e Ditto em dados com padrões textuais que não foram considerados nos experimentos anteriores. Os resultados obtidos demonstraram que as duas soluções experimentaram queda de acurácia, sendo que o Ditto apresentou maior robustez em comparação com DeepMatcher.","PeriodicalId":338913,"journal":{"name":"Anais da X Escola Regional de Informática de Goiás (ERI-GO 2022)","volume":"185 9","pages":"0"},"PeriodicalIF":0.0000,"publicationDate":"2022-10-25","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Anais da X Escola Regional de Informática de Goiás (ERI-GO 2022)","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.5753/erigo.2022.227704","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}
引用次数: 0
Abstract
Dados de aplicações possuem inevitavelmente inconsistências que podem causar mal funcionamento em operações rotineiras e compromenter resultados analíticos. Um tipo particular de inconsistência é a presença de duplicatas, isto é, múltiplas e não idênticas representações da mesma informação. A identificação de duplicatas é difícil porque elas não são cópias idênticas entre si. Recentemente, DeepMatcher e Ditto, duas soluções baseadas em deep learning, obtiveram resultados do estado da arte em identificação de duplicatas. Entretanto, DeepMatcher e Ditto não consideraram duplicatas com variações textuais em nível de caracteres em seus experimentos; tais variações são pervasivas em bancos de dados do mundo real. Este artigo apresenta uma avaliação comparativa do DeepMatcher e Ditto em dados com padrões textuais que não foram considerados nos experimentos anteriores. Os resultados obtidos demonstraram que as duas soluções experimentaram queda de acurácia, sendo que o Ditto apresentou maior robustez em comparação com DeepMatcher.