卷积神经网络的可解释性研究综述
作者:
作者单位:

作者简介:

窦慧(1992-),女,博士生,主要研究领域为神经网络,数据可视化.;张凌茗(1997-),男,硕士生,主要研究领域为神经网络,计算机视觉.;韩峰(1994-),男,博士生,主要研究领域为计算机视觉,多模态学习.;申富饶(1973-),男,博士,教授,博士生导师,CCF杰出会员,主要研究领域为神经计算,机器人智能.;赵健(1979-),男,博士,副教授,主要研究领域为通信网络,神经计算.

通讯作者:

申富饶,E-mail:frshen@nju.edu.cn;赵健,E-mail:jianzhao@nju.edu.cn

中图分类号:

TP18

基金项目:

科技部科技创新2030重大项目(2021ZD0201300); 国家自然科学基金(61876076)


Survey on Convolutional Neural Network Interpretability
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    神经网络模型性能日益强大, 被广泛应用于解决各类计算机相关任务, 并表现出非常优秀的能力, 但人类对神经网络模型的运行机制却并不完全理解. 针对神经网络可解释性的研究进行了梳理和汇总, 就模型可解释性研究的定义、必要性、分类、评估等方面进行了详细的讨论. 从解释算法的关注点出发, 提出一种神经网络可解释算法的新型分类方法, 为理解神经网络提供一个全新的视角. 根据提出的新型分类方法对当前卷积神经网络的可解释方法进行梳理, 并对不同类别解释算法的特点进行分析和比较. 同时, 介绍了常见可解释算法的评估原则和评估方法. 对可解释神经网络的研究方向与应用进行概述. 就可解释神经网络面临的挑战进行阐述, 并针对这些挑战给出可能的解决方向.

    Abstract:

    With the increasingly powerful performance of neural network models, they are widely used to solve various computer-related tasks and show excellent capabilities. However, a clear understanding of the operation mechanism of neural network models is lacking. Therefore, this study reviews and summarizes the current research on the interpretability of neural networks. A detailed discussion is rendered on the definition, necessity, classification, and evaluation of research on model interpretability. With the emphasis on the focus of interpretable algorithms, a new classification method for the interpretable algorithms of neural networks is proposed, which provides a novel perspective for the understanding of neural networks. According to the proposed method, this study sorts out the current interpretable methods for convolutional neural networks and comparatively analyzes the characteristics of interpretable algorithms falling within different categories. Moreover, it introduces the evaluation principles and methods of common interpretable algorithms and expounds on the research directions and applications of interpretable neural networks. Finally, the problems confronted in this regard are discussed, and possible solutions to these problems are given.

    参考文献
    相似文献
    引证文献
引用本文

窦慧,张凌茗,韩峰,申富饶,赵健.卷积神经网络的可解释性研究综述.软件学报,2024,35(1):159-184

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-01-20
  • 最后修改日期:2022-04-01
  • 录用日期:
  • 在线发布日期: 2023-02-22
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号