Igrep -索引文本的近似搜索系统

Márcio Drumond Araújo, Nivio Ziviani
{"title":"Igrep -索引文本的近似搜索系统","authors":"Márcio Drumond Araújo, Nivio Ziviani","doi":"10.5753/sbes.1997.24065","DOIUrl":null,"url":null,"abstract":"O presente trabalho apresenta o sistema IGREP para busca aproximada em textos de grande porte desenvolvido através da dissertação [Ara97]. O IGREP faz uso de uma lista invertida, composta por uma tabela contendo o vocabulário de palavras do texto e uma lista de endereços no texto correspondendo às ocorrências no mesmo de cada palavra do vocabulário. O tamanho do vocabulário é menos do que 1% do tamanho do texto como um todo, fazendo com que seja possível a sua manutenção em memória principal durante todo o processo de busca. Para consultas contendo uma palavra, a busca fica restrita apenas ao vocabulário. Para consultas contendo mais de uma palavra, a busca fica restrita ao vocabulário e respectivas listas de endereços, não havendo pois nenhum acesso ao texto na fase de pesquisa. O sistema permite desde a busca com erros ou não de palavras e frases até buscas de sequências complexas contendo conjuntos de caracteres, caracteres coringa e expressões regulares arbitrárias. O tempo de busca é O(√n) para casos típicos. Os resultados experimentais mostram que o sistema funciona bem na prática: para um texto de 1 gigabyte, casamentos compostos por 3 palavras com até 1 erro são recuperados em aproximadamente 6 segundos. No caso de busca sem erro, as ocorrências são obtidas em menos de meio segundo. O sistema contém duas ferramentas: O IGREPINDEX destinado a construção da lista invertida e o IGREP responsável pela parte de busca de padrões.","PeriodicalId":342565,"journal":{"name":"Anais do XI Simpósio Brasileiro de Engenharia de Software (SBES 1997)","volume":"1 1","pages":"0"},"PeriodicalIF":0.0000,"publicationDate":"1997-10-15","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":"{\"title\":\"Igrep - Um Sistema para Busca Aproximada em Textos Indexados\",\"authors\":\"Márcio Drumond Araújo, Nivio Ziviani\",\"doi\":\"10.5753/sbes.1997.24065\",\"DOIUrl\":null,\"url\":null,\"abstract\":\"O presente trabalho apresenta o sistema IGREP para busca aproximada em textos de grande porte desenvolvido através da dissertação [Ara97]. O IGREP faz uso de uma lista invertida, composta por uma tabela contendo o vocabulário de palavras do texto e uma lista de endereços no texto correspondendo às ocorrências no mesmo de cada palavra do vocabulário. O tamanho do vocabulário é menos do que 1% do tamanho do texto como um todo, fazendo com que seja possível a sua manutenção em memória principal durante todo o processo de busca. Para consultas contendo uma palavra, a busca fica restrita apenas ao vocabulário. Para consultas contendo mais de uma palavra, a busca fica restrita ao vocabulário e respectivas listas de endereços, não havendo pois nenhum acesso ao texto na fase de pesquisa. O sistema permite desde a busca com erros ou não de palavras e frases até buscas de sequências complexas contendo conjuntos de caracteres, caracteres coringa e expressões regulares arbitrárias. O tempo de busca é O(√n) para casos típicos. Os resultados experimentais mostram que o sistema funciona bem na prática: para um texto de 1 gigabyte, casamentos compostos por 3 palavras com até 1 erro são recuperados em aproximadamente 6 segundos. No caso de busca sem erro, as ocorrências são obtidas em menos de meio segundo. O sistema contém duas ferramentas: O IGREPINDEX destinado a construção da lista invertida e o IGREP responsável pela parte de busca de padrões.\",\"PeriodicalId\":342565,\"journal\":{\"name\":\"Anais do XI Simpósio Brasileiro de Engenharia de Software (SBES 1997)\",\"volume\":\"1 1\",\"pages\":\"0\"},\"PeriodicalIF\":0.0000,\"publicationDate\":\"1997-10-15\",\"publicationTypes\":\"Journal Article\",\"fieldsOfStudy\":null,\"isOpenAccess\":false,\"openAccessPdf\":\"\",\"citationCount\":\"0\",\"resultStr\":null,\"platform\":\"Semanticscholar\",\"paperid\":null,\"PeriodicalName\":\"Anais do XI Simpósio Brasileiro de Engenharia de Software (SBES 1997)\",\"FirstCategoryId\":\"1085\",\"ListUrlMain\":\"https://doi.org/10.5753/sbes.1997.24065\",\"RegionNum\":0,\"RegionCategory\":null,\"ArticlePicture\":[],\"TitleCN\":null,\"AbstractTextCN\":null,\"PMCID\":null,\"EPubDate\":\"\",\"PubModel\":\"\",\"JCR\":\"\",\"JCRName\":\"\",\"Score\":null,\"Total\":0}","platform":"Semanticscholar","paperid":null,"PeriodicalName":"Anais do XI Simpósio Brasileiro de Engenharia de Software (SBES 1997)","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.5753/sbes.1997.24065","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}
引用次数: 0

摘要

本文介绍了通过论文[Ara97]开发的用于大型文本近似搜索的IGREP系统。IGREP使用了一个倒置的列表,该列表由一个包含文本单词词汇表的表和文本中对应于词汇表中每个单词出现的地址列表组成。词汇量小于文本整体大小的1%,因此可以在整个搜索过程中将其保存在主内存中。对于包含一个单词的查询,搜索仅限于词汇表。对于包含多个单词的查询,搜索仅限于词汇表及其地址列表,因此在搜索阶段无法访问文本。该系统允许从错误或无错误的单词和短语搜索,到包含字符集、通配符和任意正则表达式的复杂序列搜索。在典型情况下搜索时间为O(√n)。实验结果表明,该系统在实践中运行良好:对于1g的文本,3个单词最多1个错误的匹配在大约6秒内恢复。在无错误搜索的情况下,出现的时间不到半秒。该系统包含两个工具:用于构建反向列表的IGREPINDEX和负责模式搜索部分的IGREP。
本文章由计算机程序翻译,如有差异,请以英文原文为准。
Igrep - Um Sistema para Busca Aproximada em Textos Indexados
O presente trabalho apresenta o sistema IGREP para busca aproximada em textos de grande porte desenvolvido através da dissertação [Ara97]. O IGREP faz uso de uma lista invertida, composta por uma tabela contendo o vocabulário de palavras do texto e uma lista de endereços no texto correspondendo às ocorrências no mesmo de cada palavra do vocabulário. O tamanho do vocabulário é menos do que 1% do tamanho do texto como um todo, fazendo com que seja possível a sua manutenção em memória principal durante todo o processo de busca. Para consultas contendo uma palavra, a busca fica restrita apenas ao vocabulário. Para consultas contendo mais de uma palavra, a busca fica restrita ao vocabulário e respectivas listas de endereços, não havendo pois nenhum acesso ao texto na fase de pesquisa. O sistema permite desde a busca com erros ou não de palavras e frases até buscas de sequências complexas contendo conjuntos de caracteres, caracteres coringa e expressões regulares arbitrárias. O tempo de busca é O(√n) para casos típicos. Os resultados experimentais mostram que o sistema funciona bem na prática: para um texto de 1 gigabyte, casamentos compostos por 3 palavras com até 1 erro são recuperados em aproximadamente 6 segundos. No caso de busca sem erro, as ocorrências são obtidas em menos de meio segundo. O sistema contém duas ferramentas: O IGREPINDEX destinado a construção da lista invertida e o IGREP responsável pela parte de busca de padrões.
求助全文
通过发布文献求助,成功后即可免费获取论文全文。 去求助
来源期刊
自引率
0.00%
发文量
0
×
引用
GB/T 7714-2015
复制
MLA
复制
APA
复制
导出至
BibTeX EndNote RefMan NoteFirst NoteExpress
×
提示
您的信息不完整,为了账户安全,请先补充。
现在去补充
×
提示
您因"违规操作"
具体请查看互助需知
我知道了
×
提示
确定
请完成安全验证×
copy
已复制链接
快去分享给好友吧!
我知道了
右上角分享
点击右上角分享
0
联系我们:info@booksci.cn Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。 Copyright © 2023 布克学术 All rights reserved.
京ICP备2023020795号-1
ghs 京公网安备 11010802042870号
Book学术文献互助
Book学术文献互助群
群 号:481959085
Book学术官方微信