面向大数据分析的分布式矩阵计算系统研究进展
作者:
作者单位:

作者简介:

通讯作者:

徐辰,E-mail:cxu@dase.ecnu.edu.cn

中图分类号:

基金项目:

国家自然科学基金(61902128);广西可信软件重点实验室研究课题


Survey on Distributed Matrix Computation Systems for Big Data Analysis
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    在大数据治理应用中,数据分析是必不可少的一环,且具有耗时长、计算资源需求大的特点,因此优化其执行效率至关重要.早期,由于数据规模不大,数据分析师可以利用传统的矩阵计算工具执行分析算法,然而随着数据量的爆炸式增长,诸如MATLAB等传统工具已无法满足应用需求的执行效率,进而涌现出了一批面向大数据分析的分布式矩阵计算系统.本文从技术、系统等角度,综述了分布式矩阵计算系统的研究进展.首先,本文从发展成熟的数据管理领域的视角出发,剖析分布式矩阵计算系统在编程接口、编译优化、执行引擎、数据存储四个层面面临的挑战.其次,本文分别就这四个层面展开,探讨、总结相关技术.最后,本文总体分析了典型的分布式矩阵计算系统并展望了未来研究的发展方向.

    Abstract:

    As an essential part of big data governance applications,data analysis is characterized by time-consuming and large hardware requirements,making it essential to optimize its execution efficiency.Earlier,data analysts could execute analysis algorithms using traditional matrix computation tools.However,with the explosive growth of data volume,the traditional tools can no longer meet the performance requirements of applications.Hence,distributed matrix computation systems for big data analysis have emerged.In this paper,we review the progress of distributed matrix computation systems from technical and system perspectives.First,this paper analyzes the challenges faced by distributed matrix computation systems in four dimensions:programming interface,compilation optimization,execution engine,and data storage,from the perspective of the mature data management field.Second,this paper discusses and summarises the technologies in each of these four dimensions.Finally,the paper investigates the future research and development directions of distributed matrix computation systems.

    参考文献
    相似文献
    引证文献
引用本文

陈梓浩,徐辰,钱卫宁,周傲英.面向大数据分析的分布式矩阵计算系统研究进展.软件学报,2023,34(3):0

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-05-15
  • 最后修改日期:2022-07-29
  • 录用日期:
  • 在线发布日期: 2022-10-26
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号