基于差异化特征提取的交叉半监督语义分割网络
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

TP391

基金项目:

国家自然科学基金(62473201, 62477026, 62332015, 62072449); 无锡市产业创新研究院先导技术预研项目


Cross Semi-supervised Semantic Segmentation Network Based on Differential Feature Extraction
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    半监督语义分割方法通常采用不同数据增强方案来确保多分支网络输入信息的差异化, 以实现分支之间相互监督. 虽然该方法取了一定成效, 但其存在以下问题: 1)特征提取差异不足, 造成推理特征信息同化; 2)监督信号差异不足, 造成末端损失学习同化. 以上两个问题都会促使网络中不同分支收敛到相似的解决方案, 导致多分支网络功能退化, 出现多个分支对错误保持相似置信度的问题, 错误引导网络分支收敛. 针对上述问题, 提出了一种基于差异化特征提取的交叉半监督语义分割网络. 首先, 采用差异化特征提取策略, 通过让网络分支分别关注纹理、语义和形状等不同信息, 从特征提取角度使特征提取信息始终存在差异性, 减少网络对数据增强的依赖; 其次, 提出一种交叉融合伪标签方法, 使网络分支交替生成邻域像素融合伪标签, 以此增强网络末端监督信号的差异性, 最终促使网络分支收敛向不同的解决方案. 实验结果证明, 方法在Pascal VOC 2012和Cityscapes验证集上分别达到了80.2%和76.8%的优异性能, 领先于最新方法0.3%和1.3%.

    Abstract:

    Semi-supervised semantic segmentation methods typically employ various data augmentation schemes to ensure differentiation in the input of network branches, enabling mutual self-supervision. While successful, this approach faces several issues: 1) insufficient diversity in feature extraction leads to feature signal assimilation during inference; 2) inadequate diversity in supervision signals results in the assimilation of loss learning. These issues cause network branches to converge on similar solutions, degrading the functionality of multi-branch networks. To address these issues, a cross semi-supervised semantic segmentation method based on differential feature extraction is proposed. First, a differential feature extraction strategy is employed, ensuring that branches focus on distinct information, such as texture, semantics, and shapes, thus reducing reliance on data augmentation. Second, a cross-fusion pseudo-labeling method is introduced, where branches alternately generate neighboring pixel fusion pseudo-labels, enhancing the diversity of supervision signals and guiding branches toward different solutions. Experimental results demonstrate this method achieves excellent performance on the Pascal VOC 2012 and Cityscapes validation datasets, with scores of 80.2% and 76.8%, outperforming the latest methods by 0.3% and 1.3%, respectively.

    参考文献
    相似文献
    引证文献
引用本文

陈亚当,李家戚,车洵,吴恩华.基于差异化特征提取的交叉半监督语义分割网络.软件学报,,():1-20

复制
相关视频

分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2024-10-23
  • 最后修改日期:2024-12-09
  • 录用日期:
  • 在线发布日期: 2025-08-27
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号