一种云环境中的动态细粒度资源调度方法
作者:
作者单位:

作者简介:

周墨颂(1988-),男,博士生,主要研究领域为云计算资源管理.
董小社(1963-),男,博士,教授,博士生导师,CCF高级会员,主要研究领域为高性能计算机体系结构及其核心软件,并行算法与编程模型,网格/云计算,存储系统.
陈衡(1979-),男,博士,讲师,CCF专业会员,主要研究领域为高性能计算机体系结构及其核心软件,并行算法与编程模型.
张兴军(1969-),男,博士,教授,博士生导师,CCF高级会员,主要研究领域为高性能计算机体系结构,网络存储,网络计算.

通讯作者:

陈衡,E-mail:hengchen@mail.xjtu.edu.cn

中图分类号:

基金项目:

国家重点研发计划(2016YFB0200902);国家自然科学基金(61572394)


Dynamically Fine-grained Scheduling Method in Cloud Environment
Author:
Affiliation:

Fund Project:

National Key Research and Development Program of China (2016YFB0200902); National Natural Science Foundation of China (61572394)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    云计算平台中普遍采用固定资源量的粗粒度资源分配方式,由此会引起资源碎片、过度分配、低集群资源利用率等问题.针对此问题,提出一种细粒度资源调度方法,该方法根据相似任务运行时信息推测任务资源需求;将任务划分为若干执行阶段,分阶段匹配资源,从分配时间和分配资源量两方面细化资源分配粒度;资源匹配过程中,基于资源可压缩特性进一步提高资源利用率和性能;采用资源监控、策略调整、约束检查等机制保证资源使用效率和负载性能.在开源云资源管理平台中,基于细粒度资源调度方法实现了调度器.实验结果表明:细粒度资源调度方法可以在不丧失公平性且调度响应时间可接受的前提下,细化资源匹配的粒度,有效提高云计算平台资源利用率和性能.

    Abstract:

    The coarse-grained scheduling used in cloud computing platform allocates fixed quantity resources to tasks. However, this allocation can easily lead to problems such as resource fragmentation, over-commitment and inefficient resource utilization. This study proposes a dynamically fine-grained scheduling method to resolve those problems. This method estimates resource requirement of task according to similar tasks and divides tasks into execution stages according to the task requirement, and it also matches task resource requirement and available server resources by stages to refine two aspects of allocation granularity: allocation duration and allocation quantity. Furthermore, this method may compress resource allocation to further improve resource utilization and performance, and this method uses several mechanisms including runtime resource monitoring, allocation policy adjustments, and scheduling constraint checks to ensure resource utilization and performance of cloud computing platform. Based on this method, a scheduler has been implemented in the open source cloud computing platform Yarn. The test results show that the dynamically fine-grained scheduling method can resolve resource allocation problems by significantly improving resource utilization and performance with acceptable fairness and scheduling response times.

    参考文献
    相似文献
    引证文献
引用本文

周墨颂,董小社,陈衡,张兴军.一种云环境中的动态细粒度资源调度方法.软件学报,2020,31(12):3981-3999

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2017-10-16
  • 最后修改日期:2018-06-20
  • 录用日期:
  • 在线发布日期: 2020-12-03
  • 出版日期: 2020-12-06
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号