{"title":"Methods for Eliminating Incompleteness of Data in Online Monitoring of Labor Market","authors":"V. Giorgashvili, M. Bakaev","doi":"10.17586/2587-8557-2018-2-11-19","DOIUrl":null,"url":null,"abstract":"Проблема неполноты данных весьма характерна при проведении социологических, экономических и статистических исследований с использованием онлайн-данных. Возможными причинами неполноты данных могут быть: ошибки и изменения на площадках-источниках данных, сбои и ошибки в работе инструментов, осуществляющих сбор данных и т.д. Поскольку для осуществления анализа наличие пропусков в данных обычно нежелательно, то предпочтительное решение – заполнить недостающие значения с применением подходящего метода, не приводящего к искажению результатов. В данной статье представлен обзор методов устранения неполноты данных и описано применение метода k-средних для заполнения пропусков в собранных нами онлайн-данных по рынку труда. Сравнение результатов, полученных на основе метода k-средних, с данными, дополнительно обработанными системой, свидетельствуют о том, что эффективность метода не оказалась приемлемой. Для решения проблемы мы рекомендуем использование API-механизмов, предоставляемых онлайн-площадками, которые при своих возможных ограничениях всё же позволяют обеспечить более высокую степень полноты данных.","PeriodicalId":226779,"journal":{"name":"Intelligent Memory Systems","volume":"18 1","pages":"0"},"PeriodicalIF":0.0000,"publicationDate":"1900-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Intelligent Memory Systems","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.17586/2587-8557-2018-2-11-19","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}
引用次数: 0
Abstract
Проблема неполноты данных весьма характерна при проведении социологических, экономических и статистических исследований с использованием онлайн-данных. Возможными причинами неполноты данных могут быть: ошибки и изменения на площадках-источниках данных, сбои и ошибки в работе инструментов, осуществляющих сбор данных и т.д. Поскольку для осуществления анализа наличие пропусков в данных обычно нежелательно, то предпочтительное решение – заполнить недостающие значения с применением подходящего метода, не приводящего к искажению результатов. В данной статье представлен обзор методов устранения неполноты данных и описано применение метода k-средних для заполнения пропусков в собранных нами онлайн-данных по рынку труда. Сравнение результатов, полученных на основе метода k-средних, с данными, дополнительно обработанными системой, свидетельствуют о том, что эффективность метода не оказалась приемлемой. Для решения проблемы мы рекомендуем использование API-механизмов, предоставляемых онлайн-площадками, которые при своих возможных ограничениях всё же позволяют обеспечить более высокую степень полноты данных.