Storm平台下的线程重分配与数据迁移节能策略
作者:
作者单位:

作者简介:

蒲勇霖(1991-),男,博士,CCF学生会员,主要研究领域为流式计算,绿色计算.
李梓杨(1993-),男,博士,CCF学生会员,主要研究领域为流式计算,内存计算.
于炯(1964-),男,博士,教授,博士生导师,CCF高级会员,主要研究领域为网格计算,绿色计算,分布式计算.
卞琛(1981-),男,博士,副教授,CCF专业会员,主要研究领域为分布式计算,并行计算.
廖彬(1975-),男,博士,副教授,CCF专业会员,主要研究领域为分布式计算,数据库理论与技术.

通讯作者:

蒲勇霖,E-mail:puyonglin1991@foxmail.com

中图分类号:

TP311

基金项目:

国家自然科学基金(61862060,61462079,61562086,61562078);新疆维吾尔自治区研究生科研创新项目(XJ2019G038);新疆大学博士生科技创新项目(XJUBSCX-201902)


Energy-efficient Strategy Based on Executor Reallocation and Data Migration in Storm
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (61862060, 61462079, 61562086, 61562078); Research Innovation Project of Graduate Student in Xinjiang Uygur Autonomous Region (XJ2019G038); Doctoral Innovation Program of Xinjiang University (XJUBSCX-201902)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    作为流式大数据计算的主要平台之一,Storm在设计过程中由于缺乏节能的考虑,导致其存在高能耗与低效率的问题.传统的节能策略并未考虑Storm的性能约束,可能会对集群的实时性造成影响.针对这一问题,设计了资源约束模型、最优线程重分配模型以及数据迁移模型.进一步提出了Storm平台下的线程重分配与数据迁移节能策略(energy-efficient strategy based on executor reallocation and data migration in Storm,简称ERDM),包括资源约束算法与数据迁移算法.其中,资源约束算法根据集群各工作节点CPU、内存与网络带宽的资源占用率,判断集群是否允许数据的迁移.数据迁移算法根据资源约束模型与最优线程重分配模型,设计了数据迁移的最优化方法.此外,ERDM通过分配线程减少了节点间的通信开销,并根据大数据流式计算的性能与能效评估ERDM.实验结果表明,与现有研究相比,ERDM能够有效降低节点间通信开销与能耗,并提高集群的性能.

    Abstract:

    As one of the most popular platforms in big data stream computing, Storm is suffering from the problem of high energy consumption and low energy efficiency due to the lack of consideration for energy saving strategy in the design process. Without taking the performance constraint of Storm into consideration, the traditional energy-efficient strategies may affect the real-time performance of cluster. Aiming at this issue, models of the resource constraint, the optimal executor reallocation, and the data migration are set up, and the energy-efficient strategy based on executor reallocation and data migration in Storm (ERDM) is further proposed, while ERDM is composed of resource constraint algorithm and data migration algorithm. The resource constraint algorithm estimates whether the cluster is appropriate for data migration according to the utilization of CPU, memory, and network bandwidth in each work node. The data migration algorithm designs optimal method to migrate data according to the resource constraint model and the optimal executor reallocation model. Moreover, the ERDM allocates the executors so as to reduce communication cost between nodes. The ERDM is evaluated by measuring the cluster performance as well as energy consumption efficiency in big data stream computing environment. The experimental results show that the proposed strategy can reduce communication cost and energy consequence efficiently while the cluster performance is improved compared with existing researches.

    参考文献
    相似文献
    引证文献
引用本文

蒲勇霖,于炯,鲁亮,李梓杨,卞琛,廖彬. Storm平台下的线程重分配与数据迁移节能策略.软件学报,2021,32(8):2557-2579

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2019-11-04
  • 最后修改日期:2020-03-21
  • 录用日期:
  • 在线发布日期: 2021-08-05
  • 出版日期: 2021-08-06
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号