基于多覆盖模型的神经机器翻译
CSTR:
作者:
作者单位:

作者简介:

刘俊鹏(1992-),男,博士生,主要研究领域为自然语言处理,机器翻译;
宋鼎新(1985-),男,博士,主要研究领域为自然语言处理与机器翻译;
黄锴宇(1992-),男,博士,主要研究领域为自然语言处理,中文词法分析;
黄德根(1965-),男,博士,教授,博士生导师,CCF高级会员,主要研究领域为自然语言处理,机器翻译;
李玖一(1994-),女,博士生,主要研究领域为自然语言处理,文本摘要.

通讯作者:

黄德根,E-mail:huangdg@dlut.edu.cn

中图分类号:

基金项目:

国家重点研发计划(2020AAA0108004);国家自然科学基金(61672127,U1936109)


Multi-coverage Model for Neural Machine Translation
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    覆盖模型可以缓解神经机器翻译中的过度翻译和漏翻译问题.现有方法通常依靠覆盖向量或覆盖分数等单一方式存储覆盖信息,而未考虑不同覆盖信息之间的关联性,因此对信息的利用并不完善.针对该问题,基于翻译历史信息的一致性和模型之间的互补性,提出了多覆盖融合模型.首先定义词级覆盖分数概念;然后利用覆盖向量和覆盖分数存储的信息同时指导注意力机制,降低信息存储损失对注意力权重计算的影响.根据两种覆盖信息融合方式的不同,提出了两种多覆盖融合方法.利用序列到序列模型在中英翻译任务上进行了实验,结果表明,所提方法能够显著提升翻译性能,并改善源语言和目标语言的对齐质量.与只使用覆盖向量的模型相比,过度翻译和漏翻译问题的数量得到进一步减少.

    Abstract:

    The over-translation and under-translation problem in neural machine translation could be alleviated by coverage model. The existing methods usually store the coverage information in a single way, such as coverage vector or coverage score, but do not take the relationship among different coverage methods into consideration, leading to insufficient use of the information. This study proposes a multi-coverage mechanism based on the consistency of translation history and complementarity between different models. The concept of word-level coverage score is defined first, and then the coverage information stored in both coverage vector and coverage score are incorporated into the attention mechanism simultaneously, aiming to reduce the influence of information loss. According to different fusion methods, two models are introduced. Experiments are carried out on Chinese-to-English translation task based on sequence-to-sequence model. Results show that the proposed method could significantly enhance translation performance and improve alignment quality between source and target words. Compared with the model with coverage vector only, the number of over-translation and under-translation problem is further reduced.

    参考文献
    相似文献
    引证文献
引用本文

刘俊鹏,黄锴宇,李玖一,宋鼎新,黄德根.基于多覆盖模型的神经机器翻译.软件学报,2022,33(3):1141-1152

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-04-01
  • 最后修改日期:2020-09-30
  • 录用日期:
  • 在线发布日期: 2022-03-11
  • 出版日期: 2022-03-06
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号