主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公编辑办公English
2020-2021年专刊出版计划 微信服务介绍 最新一期:2020年第6期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
李鼎基,糜泽羽,吴保东,陈逊,赵永望,丁佐华,陈海波.利用跨虚拟机零下陷通信的加速器虚拟化框架.软件学报,2020,31(10):0
利用跨虚拟机零下陷通信的加速器虚拟化框架
Accelerator Virtualization Framework based on Inter-VM Exitless Communication
投稿时间:2020-02-10  修订日期:2020-04-04
DOI:10.13328/j.cnki.jos.006068
中文关键词:  虚拟化  加速器  人工智能  代理执行  虚拟机间通信
英文关键词:Virtualization  Accelerator  Artificial Intelligence  Delegated Execution  Inter-VM Communication
基金项目:广东省重点领域研发计划(2020B010164003);国家杰出青年科学基金(61925206);上海市科委高技术支持计划(19511121100)
作者单位E-mail
李鼎基 上海交通大学 软件学院, 上海 200240  
糜泽羽 上海交通大学 软件学院, 上海 200240  
吴保东 北京市商汤科技开发有限公司, 北京 100080  
陈逊 北京市商汤科技开发有限公司, 北京 100080  
赵永望 浙江大学 网络空间安全学院, 浙江 310007  
丁佐华 浙江理工大学 信息学院, 浙江 310018  
陈海波 上海交通大学 软件学院, 上海 200240 haibochen@sjtu.edu.cn 
摘要点击次数: 142
全文下载次数: 132
中文摘要:
      人工智能技术的长足发展对于云计算的算力提出了更高的要求,云服务提供商在数据中心内添置了拥有大量并行计算单元的加速器,这些加速器需要与已有的虚拟化平台相结合以进行计算资源的划分.当前主流的加速器虚拟化方案是通过PCI透传的方式,但是该方式不支持细粒度的资源划分;部分特定型号的加速器还支持了时分复用的方案,通过硬件与虚拟机监视器配合划分计算资源和时间片,但是该方案可移植性差,对于任何新型加速器的适配都要重新开发,固定的资源划分策略也导致可扩展性有限;另有基于API转发的方案,通过分离式驱动的模式将虚拟机的请求转发给后端驱动处理,而转发通信的过程中存在着性能瓶颈.本文提出了Wormhole,一种基于C/S架构的、支持跨虚拟机快速代理执行的加速器虚拟化框架,旨在为上层用户提供高效透明的加速器API转发虚拟化的同时保障多用户间的强隔离性.本框架利用硬件虚拟化技术,允许CPU控制流在虚拟机间快速切换而不触发任何下陷,大幅降低了虚拟机间通信带来的虚拟化性能开销.实验结果表明,Wormhole的原型系统相较于具有代表性的开源虚拟化方案GVirtuS在经典模型的训练测试中能够有高达5倍的性能提升.
英文摘要:
      The increasing deployment of artificial intelligence has placed unprecedent requirements on the computing power of cloud computing. Cloud service providers have integrated accelerators with massive parallel computing units in the data center. These accelerators need to be combined with existing virtualization platforms to partition the computing resources. The current mainstream accelerator virtualization solution is through the PCI passthrough approach, which however does not support fine-grained resource provisioning. Some manufacturers also start to provide time-sliced multiplexing schemes, and use drivers to cooperate with specific hardware to divide resources and time slices to different virtual machines, which unfortunately suffer from poor portability and flexibility. One alternative another but promising approach is based on API forwarding, which forwards the virtual machine's request to the back-end driver for processing through a separate driver model. Yet, the communication due to API forwarding can easily become the performance bottleneck. This paper proposes Wormhole, an accelerator virtualization framework based on the C/S architecture that supports rapid delegated execution across virtual machines. It aims to provide upper-level users with an efficient and transparent way to accelerate accelerator virtualization with API forwarding while ensuring strong isolation between multiple users. By leveraging hardware virtualization feature, the framework minimizes performance degradation through exitless cross-VM control flow switch. Experimental results show that Wormhole's prototype system can achieve up to 5 times performance improvement over the classic open-source virtualization solution such as GVirtuS in the training test of the classic model.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会 京ICP备05046678号-4
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利