基于深度学习的语言模型研究进展
作者:
作者单位:

作者简介:

王乃钰(1995-),男,硕士,主要研究领域为自然语言处理,预训练语言模型.
叶育鑫(1981-),男,博士,教授,博士生导师,CCF专业会员,主要研究领域为知识工程.
刘露(1989-),女,博士,讲师,主要研究领域为机器学习,自然语言处理,异质信息网络挖掘.
凤丽洲(1986-),女,博士,讲师,主要研究领域为文本挖掘,社会网络.
包铁(1978-),男,博士,教授,博士生导师,CCF专业会员,主要研究领域为数据分析与可视化,软件质量评估.
彭涛(1977-),男,博士,教授,博士生导师,CCF专业会员,主要研究领域为数据挖掘,机器学习,自然语言处理.

通讯作者:

彭涛,E-mail:tpeng@jlu.edu.cn

基金项目:

国家自然科学基金(61872163,61806084);吉林省教育厅项目(JJKH20190160KJ)


Language Models Based on Deep Learning: A Review
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (61872163, 61806084); Jilin Provincial Education Department Project (JJKH20190160KJ)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
    摘要:

    语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,从语言模型的基本概念和理论出发,介绍了神经概率与预训练模型的应用情况和当前面临的挑战,对现有神经概率、预训练语言模型及方法进行了对比和分析.同时又从新型训练任务和改进网络结构两方面对预训练语言模型训练方法进行了详细阐述,并对目前预训练模型在规模压缩、知识融合、多模态和跨语言等研究方向进行了概述和评价.最后总结了语言模型在当前自然语言处理应用中的瓶颈,对未来可能的研究重点做出展望.

    Abstract:

    Language model, to express implicit knowledge of language, has been widely concerned as a basic problem of natural language processing in which the current research hotspot is the language model based on deep learning. Through pre-training and fine-tuning techniques, language models show their inherently power of representation, also improve the performance of downstream tasks greatly. Around the basic principles and different application directions, this study takes the neural probability language model and the pre-training language model as a pointcut for combining deep learning and natural language processing. The application as well as challenges of neural probability and pre-training model is introduced, which is based on the basic concepts and theories of language model. Then, the existing neural probability, pre-training language model include their methods are compared and analyzed. In addition, the training methods of pre-training language model are elaborated from two aspects of new training tasks and improved network structure. Meanwhile, the current research directions of pre-training model in scale compression, knowledge fusion, multi-modality, and cross-language are summarized and evaluated. Finally, the bottleneck of language model in natural language processing application is summed up, afterwards the possible future research priorities are prospected.

    参考文献
    相似文献
    引证文献
引用本文

王乃钰,叶育鑫,刘露,凤丽洲,包铁,彭涛.基于深度学习的语言模型研究进展.软件学报,2021,32(4):1082-1115

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
历史
  • 收稿日期:2020-05-03
  • 最后修改日期:2020-09-01
  • 录用日期:
  • 在线发布日期: 2020-12-02
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号