Luciana Arantes, A. Bessani, Vinicius V. Cogo, Miguel Correia, Pedro Costa, Jonathan Lejeune, M. Piffaretti, Olivier-Gilles Marin, Marcelo Pasin, Pierre Sens, F. Silva, J. Sopena
{"title":"走向一个能容忍拜占庭式错误的MapReduce平台","authors":"Luciana Arantes, A. Bessani, Vinicius V. Cogo, Miguel Correia, Pedro Costa, Jonathan Lejeune, M. Piffaretti, Olivier-Gilles Marin, Marcelo Pasin, Pierre Sens, F. Silva, J. Sopena","doi":"10.3166/tsi.31.1079-1099","DOIUrl":null,"url":null,"abstract":"Les pannes arbitraires sont inherentes aux calculs massivement paralleles tels que ceux vises par le modele MapReduce ; or les implementations courantes du MapReduce ne fournissent pas d’outils permettant de tolerer les fautes byzantines. Il est donc impossible de certifier l’exactitude des resultats obtenus au terme des traitements longs et couteux. Nous presentons dans cet article une architecture permettant de repliquer les tâches dans le modele MapReduce afin de garantir l’integrite des traitements et d’isoler les tâches defaillantes. Dans une premiere etude de performances nous avons evalue certains mecanismes lies a la replication. Une seconde etude, effectuee avec un prototype implementant l’ensemble de l’architecture, a permis de valider certains choix en montrant qu’il est possible de minimiser le surcout de la tolerance aux fautes byzantines.","PeriodicalId":109795,"journal":{"name":"Tech. Sci. Informatiques","volume":"92 ","pages":"0"},"PeriodicalIF":0.0000,"publicationDate":"2012-12-30","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"1","resultStr":"{\"title\":\"Vers une plate-forme MapReduce tolérant les fautes byzantines\",\"authors\":\"Luciana Arantes, A. Bessani, Vinicius V. Cogo, Miguel Correia, Pedro Costa, Jonathan Lejeune, M. Piffaretti, Olivier-Gilles Marin, Marcelo Pasin, Pierre Sens, F. Silva, J. Sopena\",\"doi\":\"10.3166/tsi.31.1079-1099\",\"DOIUrl\":null,\"url\":null,\"abstract\":\"Les pannes arbitraires sont inherentes aux calculs massivement paralleles tels que ceux vises par le modele MapReduce ; or les implementations courantes du MapReduce ne fournissent pas d’outils permettant de tolerer les fautes byzantines. Il est donc impossible de certifier l’exactitude des resultats obtenus au terme des traitements longs et couteux. Nous presentons dans cet article une architecture permettant de repliquer les tâches dans le modele MapReduce afin de garantir l’integrite des traitements et d’isoler les tâches defaillantes. Dans une premiere etude de performances nous avons evalue certains mecanismes lies a la replication. Une seconde etude, effectuee avec un prototype implementant l’ensemble de l’architecture, a permis de valider certains choix en montrant qu’il est possible de minimiser le surcout de la tolerance aux fautes byzantines.\",\"PeriodicalId\":109795,\"journal\":{\"name\":\"Tech. Sci. Informatiques\",\"volume\":\"92 \",\"pages\":\"0\"},\"PeriodicalIF\":0.0000,\"publicationDate\":\"2012-12-30\",\"publicationTypes\":\"Journal Article\",\"fieldsOfStudy\":null,\"isOpenAccess\":false,\"openAccessPdf\":\"\",\"citationCount\":\"1\",\"resultStr\":null,\"platform\":\"Semanticscholar\",\"paperid\":null,\"PeriodicalName\":\"Tech. Sci. Informatiques\",\"FirstCategoryId\":\"1085\",\"ListUrlMain\":\"https://doi.org/10.3166/tsi.31.1079-1099\",\"RegionNum\":0,\"RegionCategory\":null,\"ArticlePicture\":[],\"TitleCN\":null,\"AbstractTextCN\":null,\"PMCID\":null,\"EPubDate\":\"\",\"PubModel\":\"\",\"JCR\":\"\",\"JCRName\":\"\",\"Score\":null,\"Total\":0}","platform":"Semanticscholar","paperid":null,"PeriodicalName":"Tech. Sci. Informatiques","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.3166/tsi.31.1079-1099","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}
Vers une plate-forme MapReduce tolérant les fautes byzantines
Les pannes arbitraires sont inherentes aux calculs massivement paralleles tels que ceux vises par le modele MapReduce ; or les implementations courantes du MapReduce ne fournissent pas d’outils permettant de tolerer les fautes byzantines. Il est donc impossible de certifier l’exactitude des resultats obtenus au terme des traitements longs et couteux. Nous presentons dans cet article une architecture permettant de repliquer les tâches dans le modele MapReduce afin de garantir l’integrite des traitements et d’isoler les tâches defaillantes. Dans une premiere etude de performances nous avons evalue certains mecanismes lies a la replication. Une seconde etude, effectuee avec un prototype implementant l’ensemble de l’architecture, a permis de valider certains choix en montrant qu’il est possible de minimiser le surcout de la tolerance aux fautes byzantines.