主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公English
2020-2021年专刊出版计划 微信服务介绍 最新一期:2021年第1期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
王乃钰,叶育鑫,刘露,凤丽洲,包铁,彭涛.基于深度学习的语言模型研究进展.软件学报,0,():0
基于深度学习的语言模型研究进展
Language Models Based on Deep Learning: A Review
投稿时间:2020-05-03  修订日期:2020-09-01
DOI:10.13328/j.cnki.jos.006169
中文关键词:  语言模型|预训练|深度学习|自然语言处理|神经语言模型
英文关键词:language model|pre-training|deep learning|natural language processing|neural language model
基金项目:国家自然科学基金(61872163,61806084);吉林省教育厅项目(JJKH20190160KJ)
作者单位E-mail
王乃钰 吉林大学 计算机科学与技术学院, 吉林 长春 130012  
叶育鑫 吉林大学 计算机科学与技术学院, 吉林 长春 130012
符号计算与知识工程教育部重点实验室(吉林大学), 吉林 长春 130012 
 
刘露 吉林大学 软件学院, 吉林 长春 130012
符号计算与知识工程教育部重点实验室(吉林大学), 吉林 长春 130012 
 
凤丽洲 伊利诺伊大学芝加哥分校 计算机科学与技术系, 美国 伊利诺伊州 芝加哥 60607  
包铁 吉林大学 计算机科学与技术学院, 吉林 长春 130012  
彭涛 吉林大学 计算机科学与技术学院, 吉林 长春 130012
符号计算与知识工程教育部重点实验室(吉林大学), 吉林 长春 130012 
tpeng@jlu.edu.cn 
摘要点击次数: 204
全文下载次数: 133
中文摘要:
      语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.本文围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,从语言模型的基本概念和理论出发,介绍了神经概率与预训练模型的应用情况和当前面临的挑战,对现有神经概率、预训练语言模型及方法进行对比和分析.我们又从新型训练任务和改进网络结构两方面对预训练语言模型训练方法进行详细阐述,并对目前预训练模型在规模压缩、知识融合、多模态和跨语言等研究方向进行概述和评价.最后总结语言模型在当前自然语言处理应用中的瓶颈,对未来可能的研究重点做出展望.
英文摘要:
      Language model, to express implicit knowledge of language, has been widely concerned as a basic problem of natural language processing in which the current research hotspot is the language model based on deep learning. Through pre-training and fine-tuning techniques, language models show their inherently power of representation, also improve the performance of downstream tasks greatly. Around the basic principles and different application directions, this paper takes the neural probability language model and the pre-training language model as a pointcut for combining deep learning and natural language processing. We introduce the application as well as challenges of neural probability and pre-training model, which is based on the basic concepts and theories of language model. Then the existing neural probability, pre-training language model include their methods are compared and analyzed. In addition, we elaborate on the training methods of pre-training language model from two aspects of new training tasks and improved network structure. Meanwhile the current research directions of pre-training model in scale compression, knowledge fusion, multi-modality and cross-language are summarized and evaluated. Finally, this paper sums up the bottleneck of language model in natural language processing application, afterwards prospects for possible future research priorities.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会 京ICP备05046678号-4
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利