IADT: 基于解释分析的深度神经网络差分测试
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

江苏省前沿引领技术基础研究专项(BK202002001); 国家自然科学基金(61702041); 北京信息科技大学“勤信人才”培育计划(QXTCP C201906)


IADT: Interpretability-analysis-based Differential Testing for Deep Neural Network
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    随着深度神经网络(deep neural network, DNN)的迅猛发展, 其在某些特定任务上的准确性已可媲美甚至超过人类. 然而, DNN与传统软件一样不可避免地存在缺陷, 若将带缺陷的DNN模型应用于安全攸关的领域甚至可能引发严重事故, 如何有效检测缺陷DNN模型已成为亟需解决的问题. 传统的差分测试方法将测试目标在同一测试输入下的输出结果作为差异分析的依据. 然而, 即使是相同训练程序和数据重复训练的不同DNN模型在同一测试输入下也常会产生不同的输出结果. 因此, 不能认为模型输出具有差异的两个模型中存在缺陷模型, 基于测试对象输出结果的传统差分测试方法难以直接用于DNN模型的缺陷检测. 为解决上述问题, 提出基于解释分析的DNN模型差分测试方法IADT (interpretation-analysis-based differential testing), 利用解释方法分析DNN模型对于测试输入的行为解释, 并使用统计方法分析模型对测试集行为解释的显著性差异来检测缺陷模型. 使用真实缺陷模型进行实验的结果表明, 解释方法的引入使IADT能有效检测缺陷DNN模型, 检测缺陷模型的F1值比DeepCrime高0.8%–6.4%, 而所消耗的时间仅为DeepCrime的4.0%–5.4%.

    Abstract:

    With the rapid development of deep neural network (DNN), the accuracy of DNN has become comparable to or even surpassed that of humans in some specific tasks. However, like traditional software, DNN is inevitably prone to defects. If defective DNN models are applied to safety-critical fields, they may cause serious accidents. Therefore, it is urgent to propose effective methods to detect defective DNN models. The traditional differential testing methods rely on the output of the testing target at the same test input as the basis for difference analysis. However, even different DNN models trained with the same program and dataset may produce different outputs under the same test input. Therefore, it is difficult to directly use the traditional differential testing method for detecting defective DNN models. To solve the above problems, this study proposes interpretation-analysis-based differential testing (IADT), an interpretation-analysis-based differential testing method for DNN models. IADT uses interpretation methods to analyze the behavior explanation of DNN models and uses statistical methods to analyze the significant differences in the models’ behavior interpretations to detect defective models. Experiments carried out on real defective models show that the introduction of interpretation methods makes IADT effective in detecting defective DNN models, while the F1-value of IADT in detecting defective models is 0.8% –6.4% greater than that of DeepCrime, and the time consumed by IADT is only 4.0%–5.4% of DeepCrime.

    参考文献
    相似文献
    引证文献
引用本文

谢瑞麟,崔展齐,陈翔,李莉. IADT: 基于解释分析的深度神经网络差分测试.软件学报,,():1-18

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2023-03-17
  • 最后修改日期:2023-06-09
  • 录用日期:
  • 在线发布日期: 2024-08-14
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号