基于自适应权值融合的多模态情感分析方法
作者:
作者单位:

作者简介:

罗渊贻(1996-), 男, 博士生, 主要研究领域为多模态学习;吴锐(1976-), 男, 博士, 副教授, 博士生导师, 主要研究领域为模式识别, 多模态学习;刘家锋(1968-), 男, 博士, 副教授, 主要研究领域为模式识别, 机器学习;唐降龙(1960-), 男, 博士, 教授, 博士生导师, 主要研究领域为模式识别, 计算机视觉

通讯作者:

吴锐, E-mail: simple@hit.edu.cn

中图分类号:

TP18

基金项目:

国家自然科学基金(61672190)


Multimodal Sentiment Analysis Method Based on Adaptive Weight Fusion
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    多模态情感分析是利用多种模态的主观信息对情感进行分析的一种多模态任务, 探索模态间的有效交互是多模态分析中的一项重要研究. 在最近的研究中发现, 由于模态的学习速率不平衡, 导致单个模态收敛时, 其余模态仍处于欠拟合的状态, 进而削弱了多模态协同决策的效果. 为了能更有效地将多种模态结合, 学习到更具有表达力的情感特征表示, 提出一种基于自适应权值融合的多模态情感分析方法. 所提方法分为两个阶段: 第1个阶段是根据不同模态的学习梯度差异自适应地改变单模态特征表示的融合权值, 实现动态调整模态学习速率的目的, 把该阶段称为B融合(balanced fusion). 第2个阶段是为了消除B融合的融合权值对任务分析的影响, 提出模态注意力探究模态对任务的贡献, 并根据贡献为各模态分配权重, 把该阶段称为A融合 (attention fusion). 用于情感分析的多模态表示由B融合和A融合的结果共同组成. 实验结果显示, 将B融合方法引入现有的多模态情感分析方法中, 能够有效提升现有方法对情感分析任务的分析准确度; 消融实验结果显示, 在B融合的基础上增加A融合方法能有效减小B融合权重对任务的影响, 有利于提升情感分析任务的准确度. 与现有的多模态情感分析模型相比, 所提方法结构更简单、运算时间更少, 且任务准确率优于对比模型, 表明所提方法在多模态情感分析任务中的高效性和优异性能.

    Abstract:

    Multimodal sentiment analysis is a task that uses subjective information from multiple modalities to analyze sentiment. Exploring how to effectively learn the interaction between modalities has always been an essential task in multimodal analysis. In recent research, it is found that the learning rate of different modalities is unbalanced, leading to the convergence of one modality while the rest of the modalities are under-fitting, which weakens the effect of multimodal collaborative decision-making. In order to combine multiple modalities more effectively and learn the multimodal sentiment features with rich expression, this study proposes a multimodal sentiment analysis method based on adaptive weight fusion. The method of adaptive weight fusion is divided into two phases. The first phase is to adaptively change the fusion weights of unimodal feature representations according to the difference of unimodal learning gradients to dynamically balance the modal learning rate. The study calls this phase balanced fusion (B-fusion). The second phase is to eliminate the impact of the fusion weights of B-fusion on task analysis, propose the modal attention to explore the contributions of modalities to the task, and dynamically allocate the fusion weight to each modality. The study calls this phase attention fusion (A-fusion). The experimental results show that the introduction of the B-fusion method into existing multimodal sentiment analysis methods can effectively improve the accuracy of sentiment analysis. The ablation experiment results show that adding the A-fusion method to B-fusion can effectively reduce the impact of B-fusion weights on the task, which is conducive to improving the analysis results of sentiment analysis. Compared with the existing multimodal sentiment analysis models, the proposed method has a simpler structure, lower computational consumption, and better task accuracy than these comparison models, which shows that the method has high efficiency and excellent performance in multimodal sentiment analysis tasks.

    参考文献
    相似文献
    引证文献
引用本文

罗渊贻,吴锐,刘家锋,唐降龙.基于自适应权值融合的多模态情感分析方法.软件学报,2024,35(10):4781-4793

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-12-07
  • 最后修改日期:2023-03-06
  • 录用日期:
  • 在线发布日期: 2023-09-27
  • 出版日期: 2024-10-06
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号