利用特征融合和整体多样性提升单模型鲁棒性
作者:
作者单位:

作者简介:

韦璠(1996-),男,硕士生,CCF学生会员,主要研究领域为深度学习,对抗样本防御;陈小红(1982-),女,博士,副教授,CCF专业会员,主要研究领域为需求工程,形式化方法;宋云飞(1994-),男,硕士生,CCF学生会员,主要研究领域为人工智能安全;王祥丰(1987-),男,博士,副教授,CCF专业会员,主要研究领域为分布式优化,多智能体强化学习;邵明莉(1997-),女,硕士生,CCF学生会员,主要研究领域为深度学习;陈铭松(1982-),男,博士,教授,博士生导师,CCF高级会员,主要研究领域为信息物理融合系统设计自动化,计算机体系结构,物联网技术,形式化方法;刘天(1988-),男,博士生,CCF学生会员,主要研究领域为新型非易失性存储,嵌入式系统,机器学习.

通讯作者:

陈铭松,E-mail:mschen@sei.ecnu.edu.cn

中图分类号:

基金项目:

国家重点研发计划(2018YFB2101300);国家自然科学基金(61872147)


Improving Adversarial Robustness on Single Model via Feature Fusion and Ensemble Diversity
Author:
Affiliation:

Fund Project:

National Key Research and Development Program of China (2018YFB2101300); National Natural Science Foundation of China (61872147)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    使用深度神经网络处理物联网设备的急剧增加产生的海量图像数据是大势所趋,但由于深度神经网络对于对抗样本的脆弱性,它容易受到攻击而危及物联网的安全.所以,如何提高模型的鲁棒性,就成了一个非常重要的课题.通常情况下,组合模型的防御表现要优于单模型防御方法,但物联网设备有限的计算能力使得组合模型难以应用.为此,提出一种在单模型上实现组合模型防御效果的模型改造及训练方法:在基础模型上添加额外的分支;使用特征金字塔对分支进行特征融合;引入整体多样性计算辅助训练.通过在MNIST和CIFAR-10这两个图像分类领域最常用的数据集上的实验表明,该方法能够显著提高模型的鲁棒性.在FGSM等4种基于梯度的攻击下的分类正确率有5倍以上的提高,在JSMA,C&W以及EAD攻击下的分类正确率可达到原模型的10倍.同时,不干扰模型对干净样本的分类精度,也可与对抗训练方法联合使用获得更好的防御效果.

    Abstract:

    It is an inevitable trend to use deep neural network to process the massive image data generated by the rapid increase of Internet of Things (IoT) devices. However, as the DNN is vulnerable to adversarial examples, it is easy to be attacked and would endanger the security of the IoT. So how to improve the robustness of the model has become an important topic. Usually, the defensive performance of the ensemble model is better than the single model, but the limited computing power of the IoT device makes the ensemble model difficult to apply. Therefore, this study proposes a novel model transformation and training method on a single model to achieve similar defense effect like ensemble model: adding additional branches to the base model; using feature pyramids to fuse features; and introducing ensemble diversity for training. Experiments on the common datasets, like MNIST and CIFAR-10, show that this method can significantly improve the robustness. The accuracy increases more than fivefold against four gradient-based attacks such as FGSM, and can be up to 10 times while against JSMA, C&W, and EAD. This method does not disturb the classification of clean examples, and could obtain better performance while combining adversarial training.

    参考文献
    相似文献
    引证文献
引用本文

韦璠,宋云飞,邵明莉,刘天,陈小红,王祥丰,陈铭松.利用特征融合和整体多样性提升单模型鲁棒性.软件学报,2020,31(9):2756-2769

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2019-07-01
  • 最后修改日期:2019-08-18
  • 录用日期:
  • 在线发布日期: 2020-01-17
  • 出版日期: 2020-09-06
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号