分布式系统和环境中稳健的复制方法和协议

А.Д. Данилов, М.О. Саввин, А.Е. Карачевцев
{"title":"分布式系统和环境中稳健的复制方法和协议","authors":"А.Д. Данилов, М.О. Саввин, А.Е. Карачевцев","doi":"10.36622/1729-6501.2024.20.2.011","DOIUrl":null,"url":null,"abstract":"значительное увеличение объемов данных, генерируемых различными устройствами, датчиками, приложениями и пользователями веб-сервисов и социальных сетей, привело к возникновению задачи перехода к новой архитектуре хранения и обработки данных. Существующие централизованные локальные решения стали неэффективными, а дальнейшее увеличение вычислительных мощностей требовало значительных финансовых вложений. К тому же возникшая необходимость хранения исходных «сырых» данных еще сильнее увеличила потребность в дисковом пространстве. Решение такой проблемы основывается на применении распределённых архитектур, контролируемых специальными системами распределенного хранения и обработки данных. Узлы в таких системах могут состоять из простых компонентов, не всегда обладающих высокой надежностью и отказоустойчивостью. В данной статье авторы показали, что в таких условиях на первый план выходят согласованность данных и устойчивость системы к отказам. Проведенный в статье анализ современных методов и протоколов репликации в распределенных средах показал, что репликация данных является ключевой стратегией для обеспечения надежности и доступности информации в системах, где данные хранятся и обрабатываются на нескольких узлах. Рассмотрена классификация протоколов репликации по двум категориями: стратегии обновления и способу распространения обновлений. В заключение сделан вывод о том, что централизованные подходы к репликации с энергичным распространением обновлений являются на сегодня незаменимым механизмом повышения эффективности функционирования высоконагруженных и распределенных систем\n the volume of data generated by different devices, sensors, applications, and users of web services and social networks has significantly increased. This increase has prompted the need to transition to a new architecture for storing and processing data. The existing centralized local solutions have become inefficient, and further increase in computing power required significant financial investments. In addition, the need to store the original \"raw\" data has further increased the need for disk space. The solution to this problem is based on the use of distributed architectures controlled by special distributed data storage and processing systems. Nodes in such systems may consist of simple components that do not always have high reliability and fault tolerance. In this article, the authors have shown that in such conditions, data consistency and system resilience to failures come to the fore. The analysis of modern replication methods and protocols in distributed environments conducted in the article showed that data replication is a key strategy for ensuring the reliability and availability of information in systems where data is stored and processed on multiple nodes. The classification of replication protocols into two categories is considered: the update strategy and the method of distributing updates. In the end, it is concluded that centralized approaches to replication with eager distribution of updates are currently an indispensable mechanism for improving the efficiency of highly loaded and distributed systems","PeriodicalId":515253,"journal":{"name":"ВЕСТНИК ВОРОНЕЖСКОГО ГОСУДАРСТВЕННОГО ТЕХНИЧЕСКОГО УНИВЕРСИТЕТА","volume":" 8","pages":""},"PeriodicalIF":0.0000,"publicationDate":"2024-07-05","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":"{\"title\":\"ROBUST REPLICATION METHODS AND PROTOCOLS IN DISTRIBUTED SYSTEMS AND ENVIRONMENTS\",\"authors\":\"А.Д. Данилов, М.О. Саввин, А.Е. Карачевцев\",\"doi\":\"10.36622/1729-6501.2024.20.2.011\",\"DOIUrl\":null,\"url\":null,\"abstract\":\"значительное увеличение объемов данных, генерируемых различными устройствами, датчиками, приложениями и пользователями веб-сервисов и социальных сетей, привело к возникновению задачи перехода к новой архитектуре хранения и обработки данных. Существующие централизованные локальные решения стали неэффективными, а дальнейшее увеличение вычислительных мощностей требовало значительных финансовых вложений. К тому же возникшая необходимость хранения исходных «сырых» данных еще сильнее увеличила потребность в дисковом пространстве. Решение такой проблемы основывается на применении распределённых архитектур, контролируемых специальными системами распределенного хранения и обработки данных. Узлы в таких системах могут состоять из простых компонентов, не всегда обладающих высокой надежностью и отказоустойчивостью. В данной статье авторы показали, что в таких условиях на первый план выходят согласованность данных и устойчивость системы к отказам. Проведенный в статье анализ современных методов и протоколов репликации в распределенных средах показал, что репликация данных является ключевой стратегией для обеспечения надежности и доступности информации в системах, где данные хранятся и обрабатываются на нескольких узлах. Рассмотрена классификация протоколов репликации по двум категориями: стратегии обновления и способу распространения обновлений. В заключение сделан вывод о том, что централизованные подходы к репликации с энергичным распространением обновлений являются на сегодня незаменимым механизмом повышения эффективности функционирования высоконагруженных и распределенных систем\\n the volume of data generated by different devices, sensors, applications, and users of web services and social networks has significantly increased. This increase has prompted the need to transition to a new architecture for storing and processing data. The existing centralized local solutions have become inefficient, and further increase in computing power required significant financial investments. In addition, the need to store the original \\\"raw\\\" data has further increased the need for disk space. The solution to this problem is based on the use of distributed architectures controlled by special distributed data storage and processing systems. Nodes in such systems may consist of simple components that do not always have high reliability and fault tolerance. In this article, the authors have shown that in such conditions, data consistency and system resilience to failures come to the fore. The analysis of modern replication methods and protocols in distributed environments conducted in the article showed that data replication is a key strategy for ensuring the reliability and availability of information in systems where data is stored and processed on multiple nodes. The classification of replication protocols into two categories is considered: the update strategy and the method of distributing updates. In the end, it is concluded that centralized approaches to replication with eager distribution of updates are currently an indispensable mechanism for improving the efficiency of highly loaded and distributed systems\",\"PeriodicalId\":515253,\"journal\":{\"name\":\"ВЕСТНИК ВОРОНЕЖСКОГО ГОСУДАРСТВЕННОГО ТЕХНИЧЕСКОГО УНИВЕРСИТЕТА\",\"volume\":\" 8\",\"pages\":\"\"},\"PeriodicalIF\":0.0000,\"publicationDate\":\"2024-07-05\",\"publicationTypes\":\"Journal Article\",\"fieldsOfStudy\":null,\"isOpenAccess\":false,\"openAccessPdf\":\"\",\"citationCount\":\"0\",\"resultStr\":null,\"platform\":\"Semanticscholar\",\"paperid\":null,\"PeriodicalName\":\"ВЕСТНИК ВОРОНЕЖСКОГО ГОСУДАРСТВЕННОГО ТЕХНИЧЕСКОГО УНИВЕРСИТЕТА\",\"FirstCategoryId\":\"1085\",\"ListUrlMain\":\"https://doi.org/10.36622/1729-6501.2024.20.2.011\",\"RegionNum\":0,\"RegionCategory\":null,\"ArticlePicture\":[],\"TitleCN\":null,\"AbstractTextCN\":null,\"PMCID\":null,\"EPubDate\":\"\",\"PubModel\":\"\",\"JCR\":\"\",\"JCRName\":\"\",\"Score\":null,\"Total\":0}","platform":"Semanticscholar","paperid":null,"PeriodicalName":"ВЕСТНИК ВОРОНЕЖСКОГО ГОСУДАРСТВЕННОГО ТЕХНИЧЕСКОГО УНИВЕРСИТЕТА","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.36622/1729-6501.2024.20.2.011","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}
引用次数: 0

摘要

各种设备、传感器、应用程序以及网络服务和社交网络的用户所产生的数据量大幅增加,这给转向新的数据存储和处理架构带来了挑战。现有的集中式内部解决方案已变得效率低下,而进一步提高计算能力又需要大量的资金投入。此外,由于需要存储原始数据,对磁盘空间的需求进一步增加。解决这一问题的方法是应用分布式架构,由分布式数据存储和处理的特殊系统进行控制。此类系统中的节点可能由简单的组件组成,但并不总是高度可靠和容错的。作者在本文中指出,在这种情况下,系统的数据一致性和容错性显得尤为重要。对分布式环境中现代复制方法和协议的分析表明,在数据存储和处理在多个节点上的系统中,数据复制是确保信息可靠性和可用性的关键策略。研究将复制协议分为两类:更新策略和更新传播方法。随着不同设备、传感器、应用程序以及网络服务和社交网络用户所产生的数据量大幅增加,具有强大更新传播功能的集中式复制方法已成为当今提高高负载分布式系统效率不可或缺的机制。这种增长促使人们需要过渡到一种新的数据存储和处理架构。现有的集中式本地解决方案已变得效率低下,进一步提高计算能力需要大量的资金投入。此外,由于需要存储原始数据,对磁盘空间的需求进一步增加。解决这一问题的方法是使用由特殊分布式数据存储和处理系统控制的分布式架构。这类系统中的节点可能由简单的组件组成,并不总是具有高可靠性和容错性。在本文中,作者指出,在这种情况下,数据一致性和系统对故障的恢复能力就显得尤为重要。文章对分布式环境中的现代复制方法和协议进行的分析表明,在多个节点上存储和处理数据的系统中,数据复制是确保信息可靠性和可用性的关键策略。文章将复制协议分为两类:更新策略和分发更新的方法。最后得出的结论是,目前,急于分发更新的集中式复制方法是提高高负载分布式系统效率不可或缺的机制。
本文章由计算机程序翻译,如有差异,请以英文原文为准。
ROBUST REPLICATION METHODS AND PROTOCOLS IN DISTRIBUTED SYSTEMS AND ENVIRONMENTS
значительное увеличение объемов данных, генерируемых различными устройствами, датчиками, приложениями и пользователями веб-сервисов и социальных сетей, привело к возникновению задачи перехода к новой архитектуре хранения и обработки данных. Существующие централизованные локальные решения стали неэффективными, а дальнейшее увеличение вычислительных мощностей требовало значительных финансовых вложений. К тому же возникшая необходимость хранения исходных «сырых» данных еще сильнее увеличила потребность в дисковом пространстве. Решение такой проблемы основывается на применении распределённых архитектур, контролируемых специальными системами распределенного хранения и обработки данных. Узлы в таких системах могут состоять из простых компонентов, не всегда обладающих высокой надежностью и отказоустойчивостью. В данной статье авторы показали, что в таких условиях на первый план выходят согласованность данных и устойчивость системы к отказам. Проведенный в статье анализ современных методов и протоколов репликации в распределенных средах показал, что репликация данных является ключевой стратегией для обеспечения надежности и доступности информации в системах, где данные хранятся и обрабатываются на нескольких узлах. Рассмотрена классификация протоколов репликации по двум категориями: стратегии обновления и способу распространения обновлений. В заключение сделан вывод о том, что централизованные подходы к репликации с энергичным распространением обновлений являются на сегодня незаменимым механизмом повышения эффективности функционирования высоконагруженных и распределенных систем the volume of data generated by different devices, sensors, applications, and users of web services and social networks has significantly increased. This increase has prompted the need to transition to a new architecture for storing and processing data. The existing centralized local solutions have become inefficient, and further increase in computing power required significant financial investments. In addition, the need to store the original "raw" data has further increased the need for disk space. The solution to this problem is based on the use of distributed architectures controlled by special distributed data storage and processing systems. Nodes in such systems may consist of simple components that do not always have high reliability and fault tolerance. In this article, the authors have shown that in such conditions, data consistency and system resilience to failures come to the fore. The analysis of modern replication methods and protocols in distributed environments conducted in the article showed that data replication is a key strategy for ensuring the reliability and availability of information in systems where data is stored and processed on multiple nodes. The classification of replication protocols into two categories is considered: the update strategy and the method of distributing updates. In the end, it is concluded that centralized approaches to replication with eager distribution of updates are currently an indispensable mechanism for improving the efficiency of highly loaded and distributed systems
求助全文
通过发布文献求助,成功后即可免费获取论文全文。 去求助
来源期刊
自引率
0.00%
发文量
0
×
引用
GB/T 7714-2015
复制
MLA
复制
APA
复制
导出至
BibTeX EndNote RefMan NoteFirst NoteExpress
×
提示
您的信息不完整,为了账户安全,请先补充。
现在去补充
×
提示
您因"违规操作"
具体请查看互助需知
我知道了
×
提示
确定
请完成安全验证×
copy
已复制链接
快去分享给好友吧!
我知道了
右上角分享
点击右上角分享
0
联系我们:info@booksci.cn Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。 Copyright © 2023 布克学术 All rights reserved.
京ICP备2023020795号-1
ghs 京公网安备 11010802042870号
Book学术文献互助
Book学术文献互助群
群 号:604180095
Book学术官方微信