异构分布式环境下多DAG工作流的混合调度策略
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家高技术研究发展计划(863)(2009AA01Z437); 北京市自然科学基金重大项目(4110001); 国家自然科学基金(60863003, 61063042)


Hybrid Scheduling Strategy for Multiple DAGs Workflow in Heterogeneous System
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    关于多个 DAG 工作流在异构分布式环境下调度的研究近来有了新的进展,也解决了一些问题,但现阶段还没有考虑和解决根据不同类型 DAG 的需求按优先级进行分类,以及对不同时间到达的多个不同优先级 DAG 进行调度的问题.为解决这些问题,针对各用户对 DAG 工作流的 QoS 需求的不同,在对不同用户的 DAG 工作流进行优先级划分的基础上,首先提出了一种新的调度模型,并改进了已有的公平调度算法,解决在不同时间上被提交的具有相同优先级的多个 DAG 工作流之间调度的公平性问题.为了提高资源利用率和高优先级 DAG 尽可能小地受低优先级 DAG 的影响,又提出了一种适用于多个不同优先级 DAG 之间调度的 Backfill 算法.在新的系统模型和这两种算法的基础上,提出了一种混合调度策略.实验结果表明,这种混合调策略能够兼顾不同时间到达的多个不同类型DAG 调度需求和资源利用率的改善.另外,通过实验发现了关于两个 DAG 调度所特有的“拖尾”规律,具有进一步研究和应用的价值.

    Abstract:

    Recent research in multiple DAG workflows in heterogeneous systems have been making progress andhave solved some problems, but fail to classify the multiple DAGs, according to the demand of the performanceasked by the varied DAG workflow and also fail to address the scheduling multiple DAGs workflow with multiplepriorities submitted at different times. To solve these problems, the paper presents a new model of multiple DAGsmanagement system for multiple DAGs workflow with multiple priorities and an adjustment method to the previousFairness algorithm to solve the fairness issue in scheduling multiple DAGs with the same priorities submitted atdifferent times. In addition, the study also proposes an implementation method of the Backfill algorithm formultiple DAGs with different priorities to improve utilization rate of resource, and then, based on the new modeland the two methods, propose a hybrid strategy for scheduling multiple DAGs with multiple priorities submitted atdifferent times. These experimental results show that it is possible to meet different requirements of DAGssubmitted at different times and to improve utilization rate of a resource. In addition, the results about schedulingtwo-DAGs show a significant “Trail Ending” principle, which is valuable for academic study and application.

    参考文献
    相似文献
    引证文献
引用本文

田国忠,肖创柏,徐竹胜,肖霞.异构分布式环境下多DAG工作流的混合调度策略.软件学报,2012,23(10):2720-2734

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2011-04-04
  • 最后修改日期:2012-02-15
  • 录用日期:
  • 在线发布日期: 2012-09-30
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号