深度神经网络训练中梯度不稳定现象研究综述
作者:
作者单位:

作者简介:

陈建廷(1995-),男,吉林省吉林市人,硕士生,主要研究领域为数据挖掘;向阳(1962-),男,博士,教授,博士生导师,CCF专业会员,主要研究领域为数据挖掘.

通讯作者:

向阳,E-mail:shxiangyang@tongji.edu.cn

基金项目:

国家重点基础研究发展计划(973)(2014CB340404);国家自然科学基金(71571136);上海市科委基础研究项目(16JC403000)


Survey of Unstable Gradients in Deep Neural Network Training
Author:
Affiliation:

Fund Project:

National Basic Research Program of China (973) (2014CB340404); National Natural Science Foundation of China (71571136); Project of Science and Technology Commission of Shanghai Municipality (16JC403000)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
    摘要:

    深度神经网络作为机器学习领域的热门研究方向,在训练中容易出现梯度不稳定现象,是制约其发展的重要因素,控制和避免深度神经网络的梯度不稳定现象是深度神经网络的重要研究内容.分析了梯度不稳定现象的成因和影响,并综述了目前解决梯度不稳定现象的关键技术和主要方法.最后展望了梯度不稳定现象的未来研究方向.

    Abstract:

    As a popular research direction in the field of machine learning, deep neural networks are prone to the phenomenon of unstable gradients in training, which has become an important element that restricts their development. How to avoid and control unstable gradients is an important research topic of deep neural networks. This paper analyzes the cause and effect of the unstable gradients, and reviews the main models and methods of solving the unstable gradients. Furthermore, the future research trends in the unstable gradients is discussed.

    参考文献
    相似文献
    引证文献
引用本文

陈建廷,向阳.深度神经网络训练中梯度不稳定现象研究综述.软件学报,2018,29(7):2071-2091

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
历史
  • 收稿日期:2017-09-27
  • 最后修改日期:2017-11-10
  • 录用日期:
  • 在线发布日期: 2018-02-08
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号