面向分布式图计算作业的容错技术研究综述
作者:
作者单位:

作者简介:

张程博(1994-),男,博士生,主要研究领域为分布式图计算系统,容错.
贾统(1993-),男,博士后,主要研究领域为分布式系统,智能运维.
李影(1975-),女,博士,教授,博士生导师,CCF高级会员,主要研究领域为分布式计算,可信计算.

通讯作者:

李影,E-mail:li.ying@pku.edu.cn

基金项目:

广东省重点领域研发计划(2020B010164003)


Survey of State-of-the-art Fault Tolerance for Distributed Graph Processing Jobs
Author:
Affiliation:

Fund Project:

Key-area Research and Development Program of Guangdong Province, China (2020B010164003)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
    摘要:

    随着图数据规模的日益庞大和图计算作业的日益复杂,图计算的分布化成为必然趋势.然而图计算作业在运行过程中面临着分布式图计算系统内外各种来源的非确定性所带来的严峻的可靠性问题.首先分析了分布式图计算框架中不确定性因素和不同类型图计算作业的鲁棒性,并提出了基于成本、效率和质量3个维度的面向分布式图计算作业的容错技术评估框架,然后分别对分布式图计算的4种容错机制——基于检查点的容错、基于日志的容错、基于复制的容错、基于算法补偿的容错等机制结合国内外相关工作做了深入的分析、评估和比较.最后对未来的研究方向进行了展望.

    Abstract:

    As the growth of graph data scale and complexity of graph processing, the trend of distributed graph processing shall be inevitable. However, graph processing jobs run with severe reliability problems caused by the uncertainty originated from inside and outside the distributed graph processing system. This study first analyzes the uncertainty factors of the distributed graph processing frameworks and the robustness of different types of graph processing jobs; then proposes an evaluation framework of fault tolerance for distributed graph processing based on cost, efficiency, and quality of fault tolerance. This study also analyzes, evaluates, and compares the four fault-tolerant mechanisms of distributed graph processing-checkpointing based fault tolerance, logging based fault tolerance, replication based fault tolerance, and algorithm compensation based fault tolerance-combining related researches. Finally, the direction of future researches is prospected.

    参考文献
    相似文献
    引证文献
引用本文

张程博,李影,贾统.面向分布式图计算作业的容错技术研究综述.软件学报,2021,32(7):2078-2102

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
历史
  • 收稿日期:2020-09-15
  • 最后修改日期:2020-10-26
  • 录用日期:
  • 在线发布日期: 2021-01-22
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号