主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公编辑办公English
2020-2021年专刊出版计划 微信服务介绍 最新一期:2020年第6期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
徐梦炜,刘渊强,黄康,刘譞哲,黄罡.面向移动终端智能的自治学习系统.软件学报,2020,31(10):0
面向移动终端智能的自治学习系统
Autonomous Learning System towards Mobile Intelligence
投稿时间:2020-02-07  修订日期:2020-04-04
DOI:10.13328/j.cnki.jos.006064
中文关键词:  机器学习  移动计算  边缘计算  分布式系统
英文关键词:machine learning  mobile computing  edge computing  distributed system
基金项目:
作者单位E-mail
徐梦炜 北京大学 信息科学技术学院 软件研究所, 北京 100871
高可信软件技术教育部重点实验室(北京大学), 北京 100871 
 
刘渊强 北京大学 信息科学技术学院 软件研究所, 北京 100871
高可信软件技术教育部重点实验室(北京大学), 北京 100871 
 
黄康 领规科技 北京有限公司, 北京  
刘譞哲 北京大学 信息科学技术学院 软件研究所, 北京 100871
高可信软件技术教育部重点实验室(北京大学), 北京 100871 
xzl@pku.edu.cn 
黄罡 北京大学 信息科学技术学院 软件研究所, 北京 100871
高可信软件技术教育部重点实验室(北京大学), 北京 100871 
 
摘要点击次数: 165
全文下载次数: 211
中文摘要:
      在移动终端设备中部署机器学习模型已经成为学术界和产业界的研究热点,其中重要的一环是利用用户数据训练生成模型.然而,由于数据隐私日益得到重视,特别是随着欧洲出台GDPR、我国出台《个人信息保护法》等相关法律法规,导致开发者不能任意从用户设备中获取训练数据(特别是隐私数据),从而无法保证模型训练的质量.国内外学者针对如何在隐私数据上训练神经网络模型展开了一系列研究,我们对其进行了总结并指出其相应的局限性.为此,本文提出了一种新型的面向移动终端隐私数据的机器学习模型训练模式,将所有与用户隐私数据相关的计算任务都部署在本地终端设备,无需用户以任何形式上传数据,从而保护用户隐私.我们称这种训练模式为自治式学习(Autonomous Learning).为了解决自治式学习面临的移动终端数据量不足与计算能力不足两大挑战,我们设计实现了自治学习系统AutLearn,通过云(公共数据,预训练)和端(隐私数据,迁移学习)协同的思想,以及终端数据增强技术,提高终端设备上模型的训练效果.进一步地,通过模型压缩,神经网络编译器优化,运行时缓存等一系列技术,AutLearn可以极大地优化移动终端上的模型训练计算开销.我们基于AutLearn在两个经典的神经网络应用场景下实现了自治式学习,实验结果证明了AutLearn可以在保护隐私数据的前提下,训练模型达到甚至超过传统的集中式/联邦式模式,并且极大地减小了在移动终端上进行模型训练的计算和能耗开销.
英文摘要:
      How to efficiently deploy machine learning models on mobile devices has drawn a lot of attention in both academia and industry, among which the model training is a critical part. However, with increasingly public attention on data privacy and the recently adopted laws and regulations, it becomes harder for developers to collect training data from users and thus cannot train high-quality models. Researchers have been exploring approaches of training neural networks on decentralized data. We will summarize those efforts and point out their limitations. To this end, this work presents a novel neural network training paradigm on mobile devices, which distributes all training computations associated with private data on local devices and requires no data to be uploaded in any form. We name such training paradigm autonomous learning. To deal with two main challenges of autonomous learning, i.e., limited data volume and insufficient computing power available on mobile devices, we design and implement the first autonomous learning system AutLearn. It incorporates the cloud (public data, pre-training) – client (private data, transfer learning) cooperation methodology and data augmentation techniques to ensure the model convergence on mobile devices. Furthermore, by utilizing a series of optimization techniques such as model compression, neural network compiler, and runtime cache reuse, AutLearn can significantly reduce the on-client training cost. We implemented two classical scenarios of autonomous learning based on AutLearn and carried out a set of experiments. The results showed that AutLearn can training the neural networks with comparable or even higher accuracy compared to traditional centralized/federated training mode with privacy preserved. AutLearn can also significantly reduce the computational and energy cost of neural network training on mobile devices.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会 京ICP备05046678号-4
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利