基于多策略原型生成的低资源神经机器翻译
作者:
作者单位:

作者简介:

于志强(1983-),男,博士,主要研究领域为自然语言处理,神经机器翻译;余正涛(1970-),男,博士,教授,博士生导师,CCF高级会员,主要研究领域为自然语言处理,神经机器翻译,信息检索;黄于欣(1983-),男,博士,CCF专业会员,主要研究领域为自然语言处理,神经机器翻译,文本摘要;郭军军(1987-),男,博士,副教授,CCF专业会员,主要研究领域为自然语言处理,神经机器翻译,多模态机器翻译;线岩团(1982-),男,副教授,CCF专业会员,主要研究领域为自然语言处理,神经机器翻译

通讯作者:

余正涛,ztyu@hotmail.com

中图分类号:

TP18

基金项目:

国家重点研发计划(2019QY1800); 国家自然科学基金(61732005, 61672271, 61761026, 61762056, 61866020); 云南省重大科技专项(202002AD080001); 云南省高新技术产业专项(201606); 云南省自然科学基金(2018FB104)


Low-resource Neural Machine Translation with Multi-strategy Prototype Generation
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    资源丰富场景下, 利用相似性翻译作为目标端原型序列, 能够有效提升神经机器翻译的性能. 然而在低资源场景下, 由于平行语料资源匮乏, 导致不能匹配得到原型序列或序列质量不佳. 针对此问题, 提出一种基于多种策略进行原型生成的方法. 首先结合利用关键词匹配和分布式表示匹配检索原型序列, 如未能获得匹配, 则利用伪原型生成方法产生可用的伪原型序列. 其次, 为有效地利用原型序列, 对传统的编码器-解码器框架进行改进. 编码端使用额外的编码器接收原型序列输入; 解码端在利用门控机制控制信息流动的同时, 使用改进的损失函数减少低质量原型序列对模型的影响. 多个数据集上的实验结果表明, 相比基线模型, 所提出的方法能够有效提升低资源场景下的机器翻译性能.

    Abstract:

    In rich-resource scenarios, using similarity translation as the target prototype sequence can improve the performance of neural machine translation. However, in low-resource scenarios, due to the lack of parallel corpus resources, the prototype sequence cannot be matched, or the sequence quality is poor. To address this problem, this study proposes a low-resource neural machine translation approach with multi-strategy prototype generation, and the approach includes two phases. (1) Keyword matching and distributed representation matching are combined to retrieve prototype sequences, and the pseudo prototype generation approach is leveraged to generate available prototype sequences during retrieval failures. (2) The conventional encoder-decoder framework is improved for the effective employment of prototype sequences. The encoder side utilizes additional encoders to receive prototype sequences. The decoder side, while employing a gating mechanism to control information flow, adopts improved loss functions to reduce the negative impact of low-quality prototype sequences on the model. The experimental results on multiple datasets show that the proposed method can effectively improve the translation performance compared with the baseline models.

    参考文献
    相似文献
    引证文献
引用本文

于志强,余正涛,黄于欣,郭军军,线岩团.基于多策略原型生成的低资源神经机器翻译.软件学报,2023,34(11):5113-5125

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2021-04-14
  • 最后修改日期:2021-06-28
  • 录用日期:
  • 在线发布日期: 2023-04-27
  • 出版日期: 2023-11-06
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号