机器学习中的隐私攻击与防御
作者:
作者单位:

作者简介:

刘睿瑄(1995-),女,主要研究领域为隐私保护,机器学习,数据挖掘;赵丹(1988-),男,硕士,主要研究领域为本地化差分隐私,数据发布;陈红(1965-),女,博士,教授,博士生导师,CCF杰出会员,主要研究领域为数据库技术,新硬件平台下的高性能计算;梁文娟(1980-),女,硕士,主要研究领域为数据隐私保护,数据挖掘,物联网数据管理;郭若杨(1994-),女,CCF学生会员,主要研究领域为应用性数据安全协议包括安全计算,加密查询;李翠平(1971-),女,博士,教授,博士生导师,CCF杰出会员,主要研究领域为社交网络分析,社会推荐,大数据分析及挖掘.

通讯作者:

陈红,E-mail:chong@ruc.edu.cn

基金项目:

国家重点研发计划(2018YFB1004401);国家自然科学基金(61532021,61772537,61772536,61702522)


Survey on Privacy Attacks and Defenses in Machine Learning
Author:
Affiliation:

Fund Project:

National Key Research and Development Program of China (2018YFB1004401); National Natural Science Foundation of China (61532021, 61772537, 61772536, 61702522)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
    摘要:

    大数据时代丰富的信息来源促进了机器学习技术的蓬勃发展,然而机器学习模型的训练集在数据采集、模型训练等各个环节中存在的隐私泄露风险,为人工智能环境下的数据管理提出了重大挑战.传统数据管理中的隐私保护方法无法满足机器学习中多个环节、多种场景下的隐私保护要求.分析并展望了机器学习技术中隐私攻击与防御的研究进展和趋势.首先介绍了机器学习中隐私泄露的场景和隐私攻击的敌手模型,并根据攻击者策略分类梳理了机器学习中隐私攻击的最新研究;介绍了当前机器学习隐私保护的主流基础技术,进一步分析了各技术在保护机器学习训练集隐私时面临的关键问题,重点分类总结了5种防御策略以及具体防御机制;最后展望了机器学习技术中隐私防御机制的未来方向和挑战.

    Abstract:

    In the era of big data, a rich source of data prompts the development of machine learning technology. However, risks of privacy leakage of models' training data in data collecting and training stages pose essential challenges to data management in the artificial intelligence age. Traditional privacy preserving methods of data management and analysis could not satisfy the complex privacy problems in various stages and scenarios of machine learning. This study surveys the state-of-the-art works of privacy attacks and defenses in machine learning. On the one hand, scenarios of privacy leakage and adversarial models of privacy attacks are illustrated. Also, specific works of privacy attacks are classified with respect to adversarial strategies. On the other hand, 3 main technologies which are commonly applied in privacy preserving of machine learning are introduced and key problems of their applications are pointed out. In addition, 5 defense strategies and corresponding specific mechanisms are elaborated. Finally, future works and challenges of privacy preserving in machine learning are concluded.

    参考文献
    相似文献
    引证文献
引用本文

刘睿瑄,陈红,郭若杨,赵丹,梁文娟,李翠平.机器学习中的隐私攻击与防御.软件学报,2020,31(3):866-892

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
历史
  • 收稿日期:2019-07-19
  • 最后修改日期:2019-09-10
  • 录用日期:
  • 在线发布日期: 2019-12-06
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号