云边协同的深度学习作业调度方法
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

TP311

基金项目:

国家重点研发计划(2022YFB4500700); 国家杰出青年科学基金(62325201); 国家自然科学基金 (62172008)


Cloud-edge Coordinated Scheduling Method for Deep Learning Jobs
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    边缘服务器(edge server)为移动智能应用提供了低延时、高性能的服务. 然而, 由于边缘服务器上的负载量随时间波动较大, 在负载较低的时刻, 许多边缘服务器处于闲置状态, 其计算资源并没有得到充分利用. 与边缘服务器的利用率不同, 随着人工智能技术在人们生活中的应用越来越广泛, 云计算集群中的计算资源对于深度学习训练作业来说仍较为紧张. 现有的集群调度策略不能有效利用云计算集群外的空闲计算资源, 而有效利用云计算集群外的空闲计算资源可以缓解云计算集群的资源紧张问题, 从而使得更多截止期敏感的深度学习训练作业在截止期之前完成. 针对这一问题, 设计一种面向截止期敏感的深度学习训练作业的集群调度策略, 协同调度云计算资源和空闲的边缘计算资源, 充分利用不同深度学习训练作业的性能特征和空闲的边缘服务器设备, 使得更多的截止期敏感的深度学习训练作业在其截止期之前完成. 最后, 实验结果表明, 云边协同的调度方法在提升作业的截止期满足率方面优于其他基线方法, 并有效地利用空闲的边缘服务器设备, 提高计算资源的利用率.

    Abstract:

    Edge servers provide low-latency, high-performance services for mobile intelligent applications. However, due to significant fluctuations in the load on edge servers over time, many edge servers remain idle during periods of low load, and their computational resources are not fully utilized. In contrast to the underutilization of edge servers, computing resources in cloud computing clusters remain relatively scarce for deep learning training tasks as artificial intelligence becomes more widely applied in daily life. Existing cluster scheduling strategies fail to efficiently utilize idle computing resources outside of cloud computing clusters. Effectively utilizing these idle resources can alleviate the resource constraints in cloud computing clusters, thus enabling more deadline-sensitive deep learning training tasks to be completed before their deadlines. To address this issue, this study proposes a cluster scheduling strategy for deadline-sensitive deep learning training tasks, which coordinates the scheduling of cloud computing resources and idle edge computing resources. This strategy fully leverages the performance characteristics of different deep learning tasks and the availability of idle edge server devices, allowing more deadline-sensitive tasks to be completed on time. Simulation results demonstrate that the cloud-edge collaborative scheduling method outperforms other benchmark methods in improving the deadline satisfaction ratio and effectively utilizes idle edge server devices.

    参考文献
    相似文献
    引证文献
引用本文

谷典典,金鑫,刘譞哲.云边协同的深度学习作业调度方法.软件学报,2025,36(12):5480-5494

复制
相关视频

分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2024-01-08
  • 最后修改日期:2024-12-22
  • 录用日期:
  • 在线发布日期: 2025-07-23
  • 出版日期: 2025-12-06
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号