全局自匹配机制的短文本摘要生成方法
作者:
作者单位:

作者简介:

吴仁守(1995-),男,浙江温州人,硕士生,CCF学生会员,主要研究领域为自然语言处理,信息抽取;王中卿(1987-),男,博士,CCF专业会员,主要研究领域为自然语言处理;王红玲(1975-),女,博士,副教授,CCF专业会员,主要研究领域为自然语言处理,信息抽取;周国栋(1967-),男,博士,教授,博士生导师,CCF杰出会员,主要研究领域为自然语言处理,信息抽取.

通讯作者:

王红玲,E-mail:hlwang@suda.edu.cn

中图分类号:

TP18

基金项目:

国家自然科学基金(61806137);江苏省高等学校自然科学研究(18KJB520043);江苏高校优势学科建设工程


Short Text Summary Generation with Global Self-matching Mechanism
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (61806137); Jiangsu High School Research (18KJB520043); A Project Funded by the Priority Academic Program Development of Jiangsu Higher Education Institutions

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    基于编码器-解码器架构的序列到序列学习模型是近年来主流的生成式自动文摘模型,其在计算每一个词的隐层表示时,通常仅考虑该词之前(或之后)的一些词,无法获取全局信息,从而进行全局优化.针对这个问题,在编码器端引入全局自匹配机制进行全局优化,并利用全局门控单元抽取出文本的核心内容.全局自匹配机制根据文本中每个单词语义和文本整体语义的匹配程度,动态地从整篇文本中为文中每一个词收集与该词相关的信息,并进一步将该词及其匹配的信息有效编码到最终的隐层表示中,以获得包含全局信息的隐层表示.同时,考虑到为每一个词融入全局信息可能会造成冗余,引入了全局门控单元,根据自匹配层获得的全局信息对流入解码端的信息流进行过滤,筛选出原文本的核心内容.实验结果显示,与目前主流的生成式文摘方法相比,该方法在Rouge评价上有显著提高,这表明所提出的模型能有效融合全局信息,挖掘出原文本的核心内容.

    Abstract:

    In recent years, the sequence-to-sequence learning model with the encoder-decoder architecture has become the mainstream summarization generation approach. Currently, the model usually only considers limited words before (or after) when calculating the hidden layer state of a word, but can not obtain global information, so as to optimize the global situation. In order to address above challenges, this study introduces a global self-matching mechanism to optimize the encoder globally, and proposes a global gating unit to extract the core content of the text. The global self-matching mechanism dynamically collects relevant information from the entire input text for each word in the text according to the matching degree of each word semantics and the overall semantics of the text, and then effectively encodes the word and its matching information into the final hidden layer representation to obtain the hidden layer representation containing the global information. Meanwhile, considering that integrating global information into each word may cause redundancy, this study introduces a global gating unit, filters the information flow into the decoder according to the global information obtained from the self-matching layer, and filters out the core content of the source text. Experimented result shows that the proposed model has a significant improvement in the Rouge evaluation over the state-of-the art method.

    参考文献
    相似文献
    引证文献
引用本文

吴仁守,王红玲,王中卿,周国栋.全局自匹配机制的短文本摘要生成方法.软件学报,2019,30(9):2705-2717

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2019-01-07
  • 最后修改日期:2019-03-02
  • 录用日期:
  • 在线发布日期: 2019-05-24
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号