基于概率模型检查的树模型公平性验证方法
作者:
作者单位:

作者简介:

王艳(1995-),女,硕士生,CCF学生会员,主要研究领域为形式化验证,可信人工智能;
史建琦(1984-),男,博士,副研究员,博士生导师,主要研究领域为工业软件,可信人工智能,嵌入式控制系统;
侯哲(1988-),男,博士,讲师,博士生导师,主要研究领域为自动推理,形式化验证,机器学习,区块链;
张格林(1994-),男,硕士生,主要研究领域为形式化验证,可信人工智能;
黄滟鸿(1986-),女,博士,副研究员,主要研究领域为可信计算,形式化建模与验证,高可信嵌入式控制软件.

通讯作者:

黄滟鸿,E-mail:yhhuang@sei.ecnu.edu.cn;史建琦,E-mail:jqshi@sei.ecnu.edu.cn

中图分类号:

TP311

基金项目:

国家重点研发计划(2019YFB2102602)


Fairness Verification Method of Tree-based Model Based on Probabilistic Model Checking
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    如今,越来越多的社会决策借助机器学习模型给出,包括法律决策、财政决策等等.对于这些决策,算法的公平性是极为重要的.事实上,在这些环境中引入机器学习的目的之一,就是为了规避或减少人类在决策过程中存在的偏见.然而,数据集常常包含敏感特征,或可能存在历史性偏差,会使得机器学习算法产生带有偏见的模型.由于特征选择对基于树的模型具有重要性,它们容易受到敏感属性的影响.提出一种基于概率模型检查的方法,以形式化验证决策树和树集成模型的公平性.将公平性问题转换为概率验证问题,为算法模型构建PCSP#模型,并使用PAT模型检查工具求解,以不同定义的公平性度量衡量模型公平性.基于该方法开发了FairVerify工具,并在多个基于不同数据集和复合敏感属性的分类器上验证了不同的公平性度量,展现了较好的性能.与现有的基于分布的验证器相比,该方法具有更高的可扩展性和鲁棒性.

    Abstract:

    More and more social decisions are made using machine learning models, including legal decisions, financial decisions, and so on. For these decisions, the fairness of algorithms is very important. In fact, one of the goals of introducing machine learning into these environments is to avoid or reduce human bias in decision-making. However, datasets often contain sensitive attributes that can cause machine learning algorithms to generate biased models. Since the importance of feature selection for tree-based models, they are susceptible to sensitive attributes. This study proposes a probabilistic model checking solution to formally verify fairness metrics of the decision tree and tree ensemble model for underlying data distribution and given compound sensitive attributes. The fairness problem is transformed into the probabilistic verification problem and different fairness metrics are measured. The tool called FairVerify is developed based on the proposed approach and it is validated on multiple classifiers based on different datasets and compound sensitive attributes, showing sound performance. Compared with the existing distribution-based verifiers, the method has higher scalability and robustness.

    参考文献
    相似文献
    引证文献
引用本文

王艳,侯哲,黄滟鸿,史建琦,张格林.基于概率模型检查的树模型公平性验证方法.软件学报,2022,33(7):2482-2498

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2021-09-05
  • 最后修改日期:2021-10-14
  • 录用日期:
  • 在线发布日期: 2022-01-28
  • 出版日期: 2022-07-06
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号