走向一个能容忍拜占庭式错误的MapReduce平台

Luciana Arantes, A. Bessani, Vinicius V. Cogo, Miguel Correia, Pedro Costa, Jonathan Lejeune, M. Piffaretti, Olivier-Gilles Marin, Marcelo Pasin, Pierre Sens, F. Silva, J. Sopena
{"title":"走向一个能容忍拜占庭式错误的MapReduce平台","authors":"Luciana Arantes, A. Bessani, Vinicius V. Cogo, Miguel Correia, Pedro Costa, Jonathan Lejeune, M. Piffaretti, Olivier-Gilles Marin, Marcelo Pasin, Pierre Sens, F. Silva, J. Sopena","doi":"10.3166/tsi.31.1079-1099","DOIUrl":null,"url":null,"abstract":"Les pannes arbitraires sont inherentes aux calculs massivement paralleles tels que ceux vises par le modele MapReduce ; or les implementations courantes du MapReduce ne fournissent pas d’outils permettant de tolerer les fautes byzantines. Il est donc impossible de certifier l’exactitude des resultats obtenus au terme des traitements longs et couteux. Nous presentons dans cet article une architecture permettant de repliquer les tâches dans le modele MapReduce afin de garantir l’integrite des traitements et d’isoler les tâches defaillantes. Dans une premiere etude de performances nous avons evalue certains mecanismes lies a la replication. Une seconde etude, effectuee avec un prototype implementant l’ensemble de l’architecture, a permis de valider certains choix en montrant qu’il est possible de minimiser le surcout de la tolerance aux fautes byzantines.","PeriodicalId":109795,"journal":{"name":"Tech. Sci. Informatiques","volume":"92 ","pages":"0"},"PeriodicalIF":0.0000,"publicationDate":"2012-12-30","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"1","resultStr":"{\"title\":\"Vers une plate-forme MapReduce tolérant les fautes byzantines\",\"authors\":\"Luciana Arantes, A. Bessani, Vinicius V. Cogo, Miguel Correia, Pedro Costa, Jonathan Lejeune, M. Piffaretti, Olivier-Gilles Marin, Marcelo Pasin, Pierre Sens, F. Silva, J. Sopena\",\"doi\":\"10.3166/tsi.31.1079-1099\",\"DOIUrl\":null,\"url\":null,\"abstract\":\"Les pannes arbitraires sont inherentes aux calculs massivement paralleles tels que ceux vises par le modele MapReduce ; or les implementations courantes du MapReduce ne fournissent pas d’outils permettant de tolerer les fautes byzantines. Il est donc impossible de certifier l’exactitude des resultats obtenus au terme des traitements longs et couteux. Nous presentons dans cet article une architecture permettant de repliquer les tâches dans le modele MapReduce afin de garantir l’integrite des traitements et d’isoler les tâches defaillantes. Dans une premiere etude de performances nous avons evalue certains mecanismes lies a la replication. Une seconde etude, effectuee avec un prototype implementant l’ensemble de l’architecture, a permis de valider certains choix en montrant qu’il est possible de minimiser le surcout de la tolerance aux fautes byzantines.\",\"PeriodicalId\":109795,\"journal\":{\"name\":\"Tech. Sci. Informatiques\",\"volume\":\"92 \",\"pages\":\"0\"},\"PeriodicalIF\":0.0000,\"publicationDate\":\"2012-12-30\",\"publicationTypes\":\"Journal Article\",\"fieldsOfStudy\":null,\"isOpenAccess\":false,\"openAccessPdf\":\"\",\"citationCount\":\"1\",\"resultStr\":null,\"platform\":\"Semanticscholar\",\"paperid\":null,\"PeriodicalName\":\"Tech. Sci. Informatiques\",\"FirstCategoryId\":\"1085\",\"ListUrlMain\":\"https://doi.org/10.3166/tsi.31.1079-1099\",\"RegionNum\":0,\"RegionCategory\":null,\"ArticlePicture\":[],\"TitleCN\":null,\"AbstractTextCN\":null,\"PMCID\":null,\"EPubDate\":\"\",\"PubModel\":\"\",\"JCR\":\"\",\"JCRName\":\"\",\"Score\":null,\"Total\":0}","platform":"Semanticscholar","paperid":null,"PeriodicalName":"Tech. Sci. Informatiques","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.3166/tsi.31.1079-1099","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}
引用次数: 1

摘要

任意故障是大规模并行计算所固有的,如MapReduce模型所设想的;然而,目前的MapReduce实现并没有提供允许拜占庭式错误的工具。因此,不可能证明在漫长而昂贵的治疗结束后所获得的结果的准确性。在本文中,我们提出了一个体系结构,该体系结构允许在MapReduce模型中复制任务,以保证处理的完整性并隔离失败的任务。在第一次性能研究中,我们评估了与复制相关的某些机制。第二项研究是使用实现整个体系结构的原型进行的,通过证明拜占庭式容错的额外成本可以最小化,从而验证了一些选择。
本文章由计算机程序翻译,如有差异,请以英文原文为准。
Vers une plate-forme MapReduce tolérant les fautes byzantines
Les pannes arbitraires sont inherentes aux calculs massivement paralleles tels que ceux vises par le modele MapReduce ; or les implementations courantes du MapReduce ne fournissent pas d’outils permettant de tolerer les fautes byzantines. Il est donc impossible de certifier l’exactitude des resultats obtenus au terme des traitements longs et couteux. Nous presentons dans cet article une architecture permettant de repliquer les tâches dans le modele MapReduce afin de garantir l’integrite des traitements et d’isoler les tâches defaillantes. Dans une premiere etude de performances nous avons evalue certains mecanismes lies a la replication. Une seconde etude, effectuee avec un prototype implementant l’ensemble de l’architecture, a permis de valider certains choix en montrant qu’il est possible de minimiser le surcout de la tolerance aux fautes byzantines.
求助全文
通过发布文献求助,成功后即可免费获取论文全文。 去求助
来源期刊
自引率
0.00%
发文量
0
×
引用
GB/T 7714-2015
复制
MLA
复制
APA
复制
导出至
BibTeX EndNote RefMan NoteFirst NoteExpress
×
提示
您的信息不完整,为了账户安全,请先补充。
现在去补充
×
提示
您因"违规操作"
具体请查看互助需知
我知道了
×
提示
确定
请完成安全验证×
copy
已复制链接
快去分享给好友吧!
我知道了
右上角分享
点击右上角分享
0
联系我们:info@booksci.cn Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。 Copyright © 2023 布克学术 All rights reserved.
京ICP备2023020795号-1
ghs 京公网安备 11010802042870号
Book学术文献互助
Book学术文献互助群
群 号:604180095
Book学术官方微信