一种自适应混合权重的自步学习方法
作者:
作者单位:

作者简介:

李豪(1990-),男,博士,副教授,主要研究领域为计算智能,机器学习;赵悦(1997-),男,博士生,主要研究领域为遥感影像智能解译,计算机视觉,机器学习;公茂果(1979-),男,博士,教授,博士生导师,CCF高级会员,主要研究领域为计算智能理论与方法,网络信息感知与隐私保护,雷达与遥感智能系统;武越(1988-),男,博士,副教授,CCF高级会员,主要研究领域为人工智能理论及应用,机器学习,深度学习,计算机视觉;刘洁怡(1991-),女,博士,副教授,主要研究领域为智能化信号处理,雷达干扰对抗.

通讯作者:

公茂果,gong@ieee.org

中图分类号:

TP181

基金项目:

国家自然科学基金(61906146,62036006,6210020547);中央高校基本科研业务费专项资金(JB210210);广东省重点领域研发计划(2020B090921001)


Self-paced Learning Method with Adaptive Mixture Weighting
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (61906146, 62036006, 6210020547); Fundamental Research Funds for the Central Universities (JB210210); Key-Area Research and Development Program of Guangdong Province (2020B090921001)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    自步学习是一种受人类和动物学习过程启发的学习机制,它赋予训练样本不同的权重,从而逐步将简单到更复杂的样本纳入训练集进行学习.自步学习在目标函数中加入自步正则项控制学习过程.目前存在多种形式的自步权重正则项,不同的正则项可能会导致不同的学习性能.其中,混合权重正则项同时具有硬权重和软权重的特点,因而被广泛应用在众多自步学习问题中.然而,当前的混合权重方法只结合了对数软权重,形式较为单一.此外,相较于软权重或硬权重方式,混合权重方法引入了更多的参数.提出一种自适应混合权重的自步正则方法来克服形式单一和参数难以调节的问题.一方面,在学习的过程中权重的表示形式能够自适应进行调整,另一方面,可以根据样本损失分布特点来自适应混合权重引入的自步参数,从而减少参数对人为经验的依赖.行为识别和多媒体事件检测上的实验结果表明提出的方法可以有效地解决权重形式和参数的自适应问题.

    Abstract:

    Self-paced learning (SPL) is a learning regime inspired by the learning process of humans and animals that gradually incorporates samples into training set from easy to complex by assigning a weight to each training sample. SPL incorporates a self-paced regularizer into the objective function to control the learning process. At present, there are various forms of SP regularizers and different regularizers may lead to distinct learning performance. Mixture weighting regularizer has the characteristics of both hard weighting and soft weighting. Therefore, it is widely used in many SPL-based applications. However, the current mixture weighting method only considers logarithmic soft weighting, which is relatively simple. In addition, in comparison with soft weighting or hard weighting, more parameters are introduced in the mixture weighting scheme. In this study, an adaptive mixture weighting SP regularizer is proposed to overcome the above issues. On the one hand, the representation form of weights can be adjusted adaptively during the learning process; on the other hand, the SP parameters introduced by mixture weighting can be adapted according to the characteristics of sample loss distribution, so as to be fully free of the empirically adjusted parameters. The experimental results on action recognition and multimedia event detection show that the proposed method is able to adjust the weighting form and parameters adaptively.

    参考文献
    相似文献
    引证文献
引用本文

李豪,赵悦,公茂果,武越,刘洁怡.一种自适应混合权重的自步学习方法.软件学报,2023,34(5):2337-2349

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2021-05-26
  • 最后修改日期:2021-07-22
  • 录用日期:
  • 在线发布日期: 2022-09-30
  • 出版日期: 2023-05-06
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号