可靠多模态学习综述
CSTR:
作者:
作者单位:

作者简介:

杨杨(1991-),男,博士,教授,CCF专业会员,主要研究领域为机器学习,数据挖掘.
詹德川(1982-),男,博士,教授,博士生导师,CCF专业会员,主要研究领域为人工智能,机器学习,数据挖掘.
姜远(1976-),女,博士,教授,博士生导师,CCF专业会员,主要研究领域为人工智能,机器学习,数据挖掘.
熊辉(1972-),男,博士,教授,博士生导师,CCF专业会员,主要研究领域为数据挖掘,商业智能.

通讯作者:

詹德川,E-mail:zhandc@nju.edu.cn

中图分类号:

基金项目:

国家自然科学基金(61673201,62006118,61773198,61632004);江苏省自然科学基金(BK20200460);CCF-百度松果基金(CCF-BAIDU OF2020011);百度TIC项目基金


Reliable Multi-modal Learning: A Survey
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (61673201, 62006118, 61773198, 61632004); Natural Science Foundation of Jiangsu Province, China (BK20200460); CCF-BAIDU Songguo Foundation (CCF-BAIDU OF2020011); BAIDU TIC Foundation

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    近年来,多模态学习逐步成为机器学习、数据挖掘领域的研究热点之一,并成功地应用于诸多现实场景中,如跨媒介搜索、多语言处理、辅助信息点击率预估等.传统多模态学习方法通常利用模态间的一致性或互补性设计相应的损失函数或正则化项进行联合训练,进而提升单模态及集成的性能.而在开放环境下,受数据缺失及噪声等因素的影响,多模态数据呈现不均衡性.具体表现为单模态信息不充分或缺失,从而导致“模态表示强弱不一致”“模态对齐关联不一致”两大挑战,而针对不均衡多模态数据直接利用传统的多模态方法甚至会退化单模态和集成的性能.针对这类问题,可靠多模态学习被提出并进行了广泛研究,系统地总结和分析了目前国内外学者针对可靠多模态学习取得的进展,并对未来研究可能面临的挑战进行展望.

    Abstract:

    Recently, multi-modal learning is one of the important research fields of machine learning and data mining, and it has a wide range of practical applications, such as cross-media search, multi-language processing, auxiliary information click-through rate estimation, etc. Traditional multi-modal learning methods usually use the consistency or complementarity among modalities to design corresponding loss functions or regularization terms for joint training, thereby improving the single-modal and ensemble performance. However, in the open environment, affected by factors such as data missing and noise, multi-modal data is imbalanced, specifically manifested as insufficient or incomplete, resulting in “inconsistency modal feature representations” and “inconsistent modal alignment relationships”. Direct use of traditional multi-modal methods will even degrade single-modal and ensemble performance. To solve these problems, reliable multi-modal learning has been proposed and studied. This paper systematically summarizes and analyzes the progress made by domestic and international scholars on reliable multi-modal research, and the challenges that future research may face.

    参考文献
    相似文献
    引证文献
引用本文

杨杨,詹德川,姜远,熊辉.可靠多模态学习综述.软件学报,2021,32(4):1067-1081

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2019-06-17
  • 最后修改日期:2020-04-28
  • 录用日期:
  • 在线发布日期: 2020-12-02
  • 出版日期: 2021-04-06
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号