支持实时流计算应用的关键技术研究进展
作者:
作者单位:

作者简介:

徐志榛(1998-),男,硕士生,主要研究领域为流计算系统,深度推荐系统.;徐辰(1988-),男,博士,副教授,CCF专业会员,主要研究领域为大规模数据处理系统,分布式机器学习系统,面向新硬件的数据管理技术.;丁光耀(1996-),男,博士生,主要研究领域为大规模数据处理系统,机器学习系统.;陈梓浩(1996-),男,博士生,主要研究领域为分布式机器学习系统.;周傲英(1965-),男,博士,教授,博士生导师,CCF会士,主要研究领域为数据库,数据管理,数据驱动的教授教育学,教育科技、物流科技等基于数据的应用科技.

通讯作者:

徐辰,E-mail:cxu@dase.ecnu.edu.cn

中图分类号:

基金项目:

国家自然科学基金(61902128); 广西可信软件重点实验室研究课题


Research Progress on Key Technologies Towards Real-time Stream Processing Applications
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    信息系统在进行知识的挖掘和管理时, 需要处理各种形式的数据, 流数据便是其中之一. 流数据具有数据规模大、产生速度快且蕴含的知识具有较强时效性等特点, 因而发展支持实时处理应用的流计算技术对于信息系统的知识管理十分重要. 流计算系统可以追溯到29世纪90年代, 至今已经经历了长足的发展. 然而, 当前多样化的知识管理需求和新一代的硬件架构为流计算系统带来了全新的挑战和机遇, 催生出了一系列流计算领域的技术研究. 首先介绍流计算系统的基本需求以及发展脉络, 再按照编程接口、执行计划、资源调度和故障容错4个层次分别分析流计算系统领域的相关技术; 最后, 展望流计算技术在未来可能的研究方向和发展趋势.

    Abstract:

    In order to perform knowledge mining and management, information systems need to process various forms of data, including stream data. Stream data have the characteristics of large data scale, fast generation speed, and strong timeliness of the knowledge contained in them. Therefore, it is very important for knowledge management of information systems to develop stream processing technology that supports real-time stream processing applications. Stream processing systems (SPSs) can be traced back to the 1990s, and they have undergone significant development since then. However, current diverse knowledge management needs and the new generation of hardware architectures have brought new challenges and opportunities for SPSs, and a series of technical research on stream processing ensues. This study introduces the basic requirements and development history of SPSs and then analyzes relevant technologies in the SPS field in terms of four aspects: programming interface, execution plan, resource scheduling, and fault tolerance. Finally, this study predicts the research directions and development trends of stream processing technology in the future.

    参考文献
    相似文献
    引证文献
引用本文

徐志榛,徐辰,丁光耀,陈梓浩,周傲英.支持实时流计算应用的关键技术研究进展.软件学报,2024,35(1):430-454

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-08-15
  • 最后修改日期:2022-10-05
  • 录用日期:
  • 在线发布日期: 2023-07-12
  • 出版日期: 2024-01-06
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号