深度网络模型压缩综述
作者:
作者单位:

作者简介:

雷杰(1991-),男,湖北仙桃人,博士生,主要研究领域为计算机视觉,深度学习;王兴路(1996-),男,本科生,主要研究领域为计算机视觉,深度学习;高鑫(1992-),男,硕士生,主要研究领域为计算机视觉,深度学习;宋明黎(1976-),男,博士,教授,博士生导师,CCF专业会员,主要研究领域为计算机视觉,深度学习;宋杰(1991-),男,博士生,主要研究领域为计算机视觉,深度学习.

通讯作者:

宋明黎,E-mail:brooksong@zju.edu.cn

基金项目:

国家自然科学基金(61572428,U1509206)


Survey of Deep Neural Network Model Compression
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (61572428, U1509206)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
    摘要:

    深度网络近年来在计算机视觉任务上不断刷新传统模型的性能,已逐渐成为研究热点.深度模型尽管性能强大,然而由于参数数量庞大、存储和计算代价高,依然难以部署在受限的硬件平台上(如移动设备).模型的参数在一定程度上能够表达其复杂性,相关研究表明,并不是所有的参数都在模型中发挥作用,部分参数作用有限、表达冗余,甚至会降低模型的性能.首先,对国内外学者在深度模型压缩上取得的成果进行了分类整理,依此归纳了基于网络剪枝、网络精馏和网络分解的方法;随后,总结了相关方法在多种公开深度模型上的压缩效果;最后,对未来的研究可能的方向和挑战进行了展望.

    Abstract:

    Deep neural networks have continually surpassed traditional methods on a variety of computer vision tasks. Though deep neural networks are very powerful, the large number of weights consumes considerable storage and calculation time, making it hard to deploy on resource-constrained hardware platforms such as mobile system. The number of weights in deep neural networks represents the complexity to an extent, but not all the weights contribute to the performance according to recent researches. Specifically, some weights are redundant and even decrease the performance. This survey offers a systematic summarization of existing research achievements of the domestic and foreign researchers in recent years in the aspects of network pruning, network distillation, and network decomposition. Furthermore, comparisons of compression performance are provided on several public deep neural networks. Finally, a perspective of future work and challenges in this research area are discussed.

    参考文献
    相似文献
    引证文献
引用本文

雷杰,高鑫,宋杰,王兴路,宋明黎.深度网络模型压缩综述.软件学报,2018,29(2):251-266

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
历史
  • 收稿日期:2017-05-02
  • 最后修改日期:2017-07-24
  • 录用日期:
  • 在线发布日期: 2017-11-29
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号