基于跨虚拟机零下陷通信的加速器虚拟化框架
CSTR:
作者:
作者单位:

作者简介:

李鼎基(1997-),男,学士,主要研究领域为操作系统,虚拟化系统.
糜泽羽(1992-),男,博士,助理研究员,CCF学生会员,主要研究领域为操作系统,系统虚拟化,系统安全.
吴保东(1990-),男,博士,工程师,主要研究领域为高性能计算,虚拟化,容器调度.
陈逊(1995-),男,工程师,主要研究领域为GPU虚拟化,AI云调度系统.
赵永望(1979-),男,博士,副教授,博士生导师,主要研究领域为形式化方法,操作系统.
丁佐华(1964-),男,博士,教授,博士生导师,CCF高级会员,主要研究领域为需求工程,自适应软件系统,形式化方法.
陈海波(1982-),男,博士,教授,博士生导师,CCF专业会员,主要研究领域为操作系统,并行与分布式系统.

通讯作者:

陈海波,E-mail:haibochen@sjtu.edu.cn

中图分类号:

基金项目:

广东省重点领域研发计划(2020B010164003);国家杰出青年科学基金(61925206);上海市科委高技术支持计划(19511121100)


Accelerator Virtualization Framework Based on Inter-VM Exitless Communication
Author:
Affiliation:

Fund Project:

Key-area Research and Development Program of Guangdong Province of China (2020B010164003); National Science Fund for Distinguished Young Scholars (61925206); HighTech Support Program from Shanghai Committee of Science and Technology (19511121100)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    人工智能技术的长足发展对于云计算的算力提出了更高的要求,云服务提供商在数据中心内添置了拥有大量并行计算单元的加速器,这些加速器需要与已有的虚拟化平台相结合以进行计算资源的划分.当前主流的加速器虚拟化方案是通过PCI透传的方式,但是该方式不支持细粒度的资源划分;部分特定型号的加速器还支持了时分复用的方案,通过硬件与虚拟机监视器配合划分计算资源和时间片,但是该方案可移植性差,对于任何新型加速器的适配都要重新开发,固定的资源划分策略也导致可扩展性有限;另有基于API转发的方案,通过分离式驱动的模式将虚拟机的请求转发给后端驱动处理,而转发通信的过程中存在着性能瓶颈.提出了Wormhole,一种基于C/S架构的、支持跨虚拟机快速代理执行的加速器虚拟化框架,旨在为上层用户提供高效、透明的加速器API转发虚拟化的同时保障多用户间的强隔离性.该框架利用硬件虚拟化技术,允许CPU控制流在虚拟机间快速切换而不触发任何下陷,大幅降低了虚拟机间通信带来的虚拟化性能开销.实验结果表明,Wormhole的原型系统相较于具有代表性的开源虚拟化方案GvirtuS,在经典模型的训练测试中能够有高达5倍的性能提升.

    Abstract:

    The increasing deployment of artificial intelligence has placed unprecedent requirements on the computing power of cloud computing. Cloud service providers have integrated accelerators with massive parallel computing units in the data center. These accelerators need to be combined with existing virtualization platforms to partition the computing resources. The current mainstream accelerator virtualization solution is through the PCI passthrough approach, which however does not support fine-grained resource provisioning. Some manufacturers also start to provide time-sliced multiplexing schemes, and use drivers to cooperate with specific hardware to divide resources and time slices to different virtual machines, which unfortunately suffer from poor portability and flexibility. One alternative another but promising approach is based on API forwarding, which forwards the virtual machine's request to the back-end driver for processing through a separate driver model. Yet, the communication due to API forwarding can easily become the performance bottleneck. This study proposes Wormhole, an accelerator virtualization framework based on the C/S architecture that supports rapid delegated execution across virtual machines. It aims to provide upper-level users with an efficient and transparent way to accelerate accelerator virtualization with API forwarding while ensuring strong isolation between multiple users. By leveraging hardware virtualization feature, the framework minimizes performance degradation through exitless cross-VM control flow switch. Experimental results show that Wormhole’s prototype system can achieve up to 5 times performance improvement over the classic open-source virtualization solution such as GVirtuS in the training test of the classic model.

    参考文献
    相似文献
    引证文献
引用本文

李鼎基,糜泽羽,吴保东,陈逊,赵永望,丁佐华,陈海波.基于跨虚拟机零下陷通信的加速器虚拟化框架.软件学报,2020,31(10):3019-3037

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-02-10
  • 最后修改日期:2020-04-04
  • 录用日期:
  • 在线发布日期: 2020-06-11
  • 出版日期: 2020-10-06
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号