分布式图处理系统技术综述
CSTR:
作者:
作者单位:

作者简介:

王童童(1989-),男,山东潍坊人,硕士,CCF学生会员,主要研究领域为图数据存储与管理;卢卫(1981-),男,博士,副教授,CCF专业会员,主要研究领域为云计算与大数据管理,空间与文本数据库管理,索引技术;荣垂田(1981-),男,博士,副教授,CCF专业会员,主要研究领域为大数据云计算数据库信息检索;杜小勇(1963-),男,博士,教授,博士生导师,CCF会士,主要研究领域为数据库系统,智能信息检索.

通讯作者:

卢卫,E-mail:lu-wei@ruc.edu.cn;杜小勇,E-mail:duyong@ruc.edu.cn

中图分类号:

TP311

基金项目:

国家自然科学基金(61502504,61402329,61732014,61472321);中国人民大学科学研究基金(中央高校基本科研业务费专项资金)(15XNLF09)


Survey on Technologies of Distributed Graph Processing Systems
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (61502504, 61402329, 61732014, 61472321);the Fundamental Research Funds for the Central Universities, the Research Funds of Renmin University of China (15XNLF09)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    图作为一种基本的数据类型,是对现实世界中对象及其关联关系的一种抽象.现实中,许多科学问题都可以被模型化为图的问题,因此,对图数据进行分析非常重要.图数据分析在语义Web分析、社交网络、生物基因分析以及信息检索等领域有着广泛的应用.随着移动互联、物联网等信息技术的发展,图数据的规模处于持续增长的状态.为了能够应对大规模图数据的高效分析和计算,Google提出了Pregel分布式图处理框架.此后,学术界和工业界提出了许多基于Pregel框架的优化技术和系统实现.在充分调研和分析的基础上,首先总结出分布式图处理系统的3个优化目标;其次,从计算粒度、任务调度、通信方式、负载划分这4个维度,综述现有分布式图处理系统中的各类优化技术;最后,对该领域未来的研究内容和发展方向进行了探讨与展望.

    Abstract:

    Well recognized as a primitive data structure, graph is an abstraction of objects and their pairwise connections. There exists a wide spectrum of applications, including semantic web analysis, social network analysis, biological genetic analysis and information retrieval, which can be modeled as graphs. Therefore, it is of great importance to conduct data analysis over these applications. With the development of information technology such as mobile Internet and Internet of things, the scale of graph data is increasing continuously and rapidly. To provide fast analysis over large-scale graph data, Pregel was first proposed as a distributed graph processing framework by Google. Since then, based on Pregel framework, a variety of optimization techniques and systems have been proposed by academic and industrial communities. Through extensive investigation and analysis, this paper first establishes three optimization objectives for the state-of-the-arts solutions to build distributed graph processing systems. Subsequently, it reviews mainstream optimizing techniques for the state-of-the-arts solutions from the perspective of computation granularity, task scheduling, communication mode and load balance. Finally, the paper discusses some open research problems and possible future research directions in this field.

    参考文献
    相似文献
    引证文献
引用本文

王童童,荣垂田,卢卫,杜小勇.分布式图处理系统技术综述.软件学报,2018,29(3):569-586

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2017-08-01
  • 最后修改日期:2017-09-05
  • 录用日期:
  • 在线发布日期: 2017-12-05
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号