深度学习模型中的公平性研究
CSTR:
作者:
作者单位:

作者简介:

王昱颖(1998-),女,硕士生,CCF学生会员,主要研究领域为深度学习公平性;张敏(1977-)女,博士,教授,CCF专业会员,主要研究领域为复杂系统的量化分析与验证,AI系统的测试与分析验证;杨晶然(1999-),女,硕士生,主要研究领域为机器学习测试;徐晟恺(1998-),男,硕士生,主要研究领域为机器学习可解释性;陈仪香(1961-),男,博士,教授,CCF杰出会员,主要研究领域为物联网与信息物理融合系统,实时软件系统,软件形式化方法与可信评估,软硬件协同设计与优化技术.

通讯作者:

张敏,E-mail:mzhang@sei.ecnu.edu.cn

中图分类号:

基金项目:

国家自然科学基金(61672012); 科技部重点研发项目(2020AAA0107800); 国家自然科学基金中以国际合作项目(62161146001)


Research on Fairness in Deep Learning Models
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    近几年深度神经网络正被广泛应用于现实决策系统, 决策系统中的不公平现象会加剧社会不平等, 造成社会危害. 因此研究者们开始对深度学习系统的公平性展开大量研究, 但大部分研究都从群体公平的角度切入, 且这些缓解群体偏见的方法无法保证群体内部的公平. 针对以上问题, 定义两种个体公平率计算方法, 分别为基于输出标签的个体公平率(IFRb), 即相似样本对在模型预测中标签相同的概率和基于输出分布的个体公平率(IFRp), 即相似样本对的预测分布差异在阈值范围内的概率, 后者是更严格的个体公平. 更进一步, 提出一种提高模型个体公平性的算法IIFR, 该算法通过余弦相似度计算样本之间的差异程度, 利用相似临界值筛选出满足条件的相似训练样本对, 最后在训练过程中将相似训练样本对的输出差异作为个体公平损失项添加到目标函数中, 惩罚模型输出差异过大的相似训练样本对, 以达到提高模型个体公平性的目的. 实验结果表明, IIFR算法在个体公平的提升上优于最先进的个体公平提升方法. 此外IIFR算法能够在提高模型个体公平性的同时, 较好地维持模型的群体公平性.

    Abstract:

    In recent years, deep neural networks have been widely employed in real decision-making systems. Unfairness in decision-making systems will exacerbate social inequality and harm society. Therefore, researchers begin to carry out a lot of studies on the fairness of deep learning systems, where as most studies focus on group fairness and cannot guarantee fairness within the group. To this end, this study defines two individual fairness calculation methods. The first one is individual fairness rate IFRb based on labels of output, which is the probability of having the same predicted label for two similar samples. The second is individual fairness rate IFRp based on distributions of output, which is the probability of having similar predicted output distribution for two similar samples respectively, and the latter has stricter individual fairness. In addition, this study proposes an algorithm IIFR to improve the individual fairness of these models. The algorithm employs cosine similarity to measure the similarity between samples and then selects similar sample pairs via the similarity threshold decided by different applications. Finally, the output difference of the similar sample pairs is added to the objective function as an individual fairness loss item during the training, which penalizes the similar training samples with large differences in model output to improve the individual fairness of the model. The experimental results show that the proposed IIFR algorithm outperforms the state-of-the-art methods on individual fairness improvement, and can maintain group fairness of models while improving individual fairness.

    参考文献
    相似文献
    引证文献
引用本文

王昱颖,张敏,杨晶然,徐晟恺,陈仪香.深度学习模型中的公平性研究.软件学报,2023,34(9):4037-4055

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-08-23
  • 最后修改日期:2022-10-13
  • 录用日期:
  • 在线发布日期: 2023-01-13
  • 出版日期: 2023-09-06
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号