创建基于GENSIM和NLTK的文本向量和正常化变换器

Итоговая научно-практическая конференция профессорско-преподавательского состава Pub Date : 2022-02-25 DOI:10.36684/57-2022-1-37-41

О.М. Минаев, Х.-М.М. Вахажи, А.С. Успанова

{"title":"创建基于GENSIM和NLTK的文本向量和正常化变换器","authors":"О.М. Минаев, Х.-М.М. Вахажи, А.С. Успанова","doi":"10.36684/57-2022-1-37-41","DOIUrl":null,"url":null,"abstract":"Приложения обработки естественного языка существуют уже несколько десятилетий, добавление методов машинного обучения в эту сферу обеспечило определенную гибкость и скорость реагирования, которые при иных условиях были бы невозможны. Данная статья содержит описание алгоритма векторизации для объединения лингвистических приемов из пакета библиотек NLTK с приемами машинного обучения из ScikitLearn и Gensim и создания собственных преобразователей для использования в повторяемых конвейерах многократного использования.","PeriodicalId":142330,"journal":{"name":"Итоговая научно-практическая конференция профессорско-преподавательского состава","volume":"120 1","pages":"0"},"PeriodicalIF":0.0000,"publicationDate":"2022-02-25","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":"{\"title\":\"СОЗДАНИЕ ПРЕОБРАЗОВАТЕЛЯ ДЛЯ ВЕКТОРИЗАЦИИ И НОРМАЛИЗАЦИИ ТЕКСТА НА ОСНОВЕ GENSIM И NLTK\",\"authors\":\"О.М. Минаев, Х.-М.М. Вахажи, А.С. Успанова\",\"doi\":\"10.36684/57-2022-1-37-41\",\"DOIUrl\":null,\"url\":null,\"abstract\":\"Приложения обработки естественного языка существуют уже несколько десятилетий, добавление методов машинного обучения в эту сферу обеспечило определенную гибкость и скорость реагирования, которые при иных условиях были бы невозможны. Данная статья содержит описание алгоритма векторизации для объединения лингвистических приемов из пакета библиотек NLTK с приемами машинного обучения из ScikitLearn и Gensim и создания собственных преобразователей для использования в повторяемых конвейерах многократного использования.\",\"PeriodicalId\":142330,\"journal\":{\"name\":\"Итоговая научно-практическая конференция профессорско-преподавательского состава\",\"volume\":\"120 1\",\"pages\":\"0\"},\"PeriodicalIF\":0.0000,\"publicationDate\":\"2022-02-25\",\"publicationTypes\":\"Journal Article\",\"fieldsOfStudy\":null,\"isOpenAccess\":false,\"openAccessPdf\":\"\",\"citationCount\":\"0\",\"resultStr\":null,\"platform\":\"Semanticscholar\",\"paperid\":null,\"PeriodicalName\":\"Итоговая научно-практическая конференция профессорско-преподавательского состава\",\"FirstCategoryId\":\"1085\",\"ListUrlMain\":\"https://doi.org/10.36684/57-2022-1-37-41\",\"RegionNum\":0,\"RegionCategory\":null,\"ArticlePicture\":[],\"TitleCN\":null,\"AbstractTextCN\":null,\"PMCID\":null,\"EPubDate\":\"\",\"PubModel\":\"\",\"JCR\":\"\",\"JCRName\":\"\",\"Score\":null,\"Total\":0}","platform":"Semanticscholar","paperid":null,"PeriodicalName":"Итоговая научно-практическая конференция профессорско-преподавательского состава","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.36684/57-2022-1-37-41","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}

引用次数: 0

摘要

自然语言处理应用已经存在了几十年，在这一领域增加机器学习技术提供了一定的灵活性和反应速度，在其他情况下是不可能的。本文描述了从NLTK包中收集语言技能的向量算法，并从Scikit - Learn和Gensim中创建自己的转换器，用于重复使用。

本文章由计算机程序翻译，如有差异，请以英文原文为准。

查看原文本刊更多论文

СОЗДАНИЕ ПРЕОБРАЗОВАТЕЛЯ ДЛЯ ВЕКТОРИЗАЦИИ И НОРМАЛИЗАЦИИ ТЕКСТА НА ОСНОВЕ GENSIM И NLTK

Приложения обработки естественного языка существуют уже несколько десятилетий, добавление методов машинного обучения в эту сферу обеспечило определенную гибкость и скорость реагирования, которые при иных условиях были бы невозможны. Данная статья содержит описание алгоритма векторизации для объединения лингвистических приемов из пакета библиотек NLTK с приемами машинного обучения из ScikitLearn и Gensim и создания собственных преобразователей для использования в повторяемых конвейерах многократного использования.

求助全文

通过发布文献求助，成功后即可免费获取论文全文。去求助

来源期刊

Итоговая научно-практическая конференция профессорско-преподавательского состава

自引率

0.00%

发文量