СОЗДАНИЕ ПРЕОБРАЗОВАТЕЛЯ ДЛЯ ВЕКТОРИЗАЦИИ И НОРМАЛИЗАЦИИ ТЕКСТА НА ОСНОВЕ GENSIM И NLTK

Итоговая научно-практическая конференция профессорско-преподавательского состава Pub Date : 2022-02-25 DOI:10.36684/57-2022-1-37-41

О.М. Минаев, Х.-М.М. Вахажи, А.С. Успанова

{"title":"СОЗДАНИЕ ПРЕОБРАЗОВАТЕЛЯ ДЛЯ ВЕКТОРИЗАЦИИ И НОРМАЛИЗАЦИИ ТЕКСТА НА ОСНОВЕ GENSIM И NLTK","authors":"О.М. Минаев, Х.-М.М. Вахажи, А.С. Успанова","doi":"10.36684/57-2022-1-37-41","DOIUrl":null,"url":null,"abstract":"Приложения обработки естественного языка существуют уже несколько десятилетий, добавление методов машинного обучения в эту сферу обеспечило определенную гибкость и скорость реагирования, которые при иных условиях были бы невозможны. Данная статья содержит описание алгоритма векторизации для объединения лингвистических приемов из пакета библиотек NLTK с приемами машинного обучения из ScikitLearn и Gensim и создания собственных преобразователей для использования в повторяемых конвейерах многократного использования.","PeriodicalId":142330,"journal":{"name":"Итоговая научно-практическая конференция профессорско-преподавательского состава","volume":"120 1","pages":"0"},"PeriodicalIF":0.0000,"publicationDate":"2022-02-25","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Итоговая научно-практическая конференция профессорско-преподавательского состава","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.36684/57-2022-1-37-41","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}

引用次数: 0

Abstract

Приложения обработки естественного языка существуют уже несколько десятилетий, добавление методов машинного обучения в эту сферу обеспечило определенную гибкость и скорость реагирования, которые при иных условиях были бы невозможны. Данная статья содержит описание алгоритма векторизации для объединения лингвистических приемов из пакета библиотек NLTK с приемами машинного обучения из ScikitLearn и Gensim и создания собственных преобразователей для использования в повторяемых конвейерах многократного использования.

查看原文本刊更多论文

创建基于GENSIM和NLTK的文本向量和正常化变换器

自然语言处理应用已经存在了几十年，在这一领域增加机器学习技术提供了一定的灵活性和反应速度，在其他情况下是不可能的。本文描述了从NLTK包中收集语言技能的向量算法，并从Scikit - Learn和Gensim中创建自己的转换器，用于重复使用。

本文章由计算机程序翻译，如有差异，请以英文原文为准。

求助全文

约1分钟内获得全文求助全文

来源期刊