受限玻尔兹曼机研究综述
作者:
作者单位:

作者简介:

张健(1990-),男,山东泰安人,博士生,主要研究领域为深度学习,玻尔兹曼机;杜鹏(1994-),男,硕士生,主要研究领域为深度学习,数据挖掘;丁世飞(1963-),男,博士,教授,博士生导师,CCF杰出会员,主要研究领域为人工智能,模式识别,机器学习,数据挖掘;杜威(1994-),男,硕士生,主要研究领域为深度学习,强化学习;张楠(1991-),男,博士生,CCF学生会员,主要研究领域为机器学习,玻尔兹曼机;于文家(1994-),男,硕士生,主要研究领域为深度学习,生成对抗网络.

通讯作者:

丁世飞,E-mail:dingsf@cumt.edu.cn

基金项目:

国家自然科学基金(61672522,61379101);国家重点基础研究发展计划(973)(2013CB329502);江苏省研究生科研与实践创新计划(KYCX19_2166);中国矿业大学研究生科研与实践创新计划(KYCX19_2166)


Restricted Boltzmann Machines: A Review
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (61672522, 61379101); National Key Basic Research Program of China (973) (2013CB329502); Postgraduate Research & Practice Innovation Program of China University of Mining Technology (KYCX19_2166); Postgraduate Research & Practice Innovation Program of Jiangsu Province (KYCX19_2166)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
    摘要:

    概率图模型是目前机器学习研究的热点,基于概率图模型构造的生成模型已广泛应用于图像和语音处理等领域.受限玻尔兹曼机(restricted Boltzmann machines,简称RBMs)是一种概率无向图,在建模数据分布方面有重要的研究价值,RBMs既可以结合卷积算子构造深度判别模型,为深度网络提供统计力学的理论支持,也可以结合有向图构建生成模型,提供具有多峰分布的先验信息.主要综述了以RBMs为基础的概率图模型的相关研究.首先介绍了基于RBMs的机器学习模型的基本概念和训练算法,并讨论了基于极大似然估计的各训练算法的联系,比较了各算法的log似然损失;其次,综述了RBMs模型最新的研究进展,包括在目标函数中引入对抗损失和W距离,并构造基于RBMs先验的变分自编码模型(variational autoencoders,简称VAEs)、基于对抗损失的RBMs模型,并讨论了各实值RBMs模型之间的联系和区别;最后,综述了以RBMs为基础的模型在深度学习中的应用,并讨论了神经网络和RBMs模型在研究中存在的问题及未来的研究方向.

    Abstract:

    The Probabilistic graph is a research hotspot in machine learning at present. Generative models based on probabilistic graphs model have been widely used in image generation and speech processing. The restricted Boltzmann machines (RBMs) is a probabilistic undirected graph, which has important research value in modeling data distribution. On the one hand, the RBMs model can be used to construct deep neural network, and on the other hand, it can provide statistical support of deep nets. This paper mainly summarizes the related research of RBMs based probability graph model and their applications in image recognition. Firstly, this paper introduces the basic concepts and training algorithms of RBMs. Secondly, this paper summarizes the applications of RBMs in deep learning; and then, this paper discusses existing problems in research of neural nets and RBMs. Finally, this paper gives a summary and prospect of the research on the RBMs.

    参考文献
    相似文献
    引证文献
引用本文

张健,丁世飞,张楠,杜鹏,杜威,于文家.受限玻尔兹曼机研究综述.软件学报,2019,30(7):2073-2090

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
历史
  • 收稿日期:2018-08-20
  • 最后修改日期:2018-12-27
  • 录用日期:
  • 在线发布日期: 2019-04-11
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号