神经结构搜索的研究进展综述
作者:
作者单位:

作者简介:

李航宇(1994-),男,博士生,主要研究领域为机器学习, 模式识别和计算机视觉.
王楠楠(1986-),男,博士,教授,博士生导师,CCF专业会员,主要研究领域为机器学习, 模式识别和计算机视觉.
朱明瑞(1992-),男,博士,讲师,主要研究领域为机器学习, 模式识别和计算机视觉.
杨曦(1988-),女,博士,副教授,博士生导师,CCF专业会员,主要研究领域为机器学习, 模式识别和计算机视觉.
高新波(1972-),男,博士,教授,博士生导师,CCF会士,主要研究领域为机器学习, 模式识别, 计算机视觉和计算智能.

通讯作者:

王楠楠,nnwang@xidian.edu.cn

中图分类号:

基金项目:

国家重点研发计划(2018AAA0103202); 国家自然科学基金(61922066, 61876142, 62036007)


Recent Advances in Neural Architecture Search: A Survey
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    近年来, 深度神经网络(DNNs)在许多人工智能任务中取得卓越表现, 例如计算机视觉(CV)、自然语言处理(NLP). 然而, 网络设计严重依赖专家知识, 这是一个耗时且易出错的工作. 于是, 作为自动化机器学习(AutoML)的重要子领域之一, 神经结构搜索(NAS)受到越来越多的关注, 旨在以自动化的方式设计表现优异的深度神经网络模型. 全面细致地回顾神经结构搜索的发展过程, 进行了系统总结. 首先, 给出了神经结构搜索的研究框架, 并分析每个研究内容的作用; 接着, 根据其发展阶段, 将现有工作划分为4个方面, 介绍各阶段发展的特点; 然后, 介绍现阶段验证结构搜索效果经常使用的数据库, 创新性地总结该领域的规范化评估标准, 保证实验对比的公平性, 促进该领域的长久发展; 最后, 对神经结构搜索研究面临的挑战进行了展望与分析.

    Abstract:

    In recent years, deep neural networks (DNNs) have achieved outstanding performance on many AI tasks, such as computer vision (CV) and natural language processing (NLP). However, the network design relies heavily on the expert knowledge, which is time-consuming and error-prone. As a result, as one of the important sub-fields of automated machine learning (AutoML), the neural architecture search (NAS) has been paid more and more attention to, aiming to automatically design deep neural networks with superior performance. In this study, the development process of NAS is reviewed in detail and systematically summarized. Firstly, the overall research framework of NAS is given, and the function of each research content is analyzed. Next, according to the development stage in NAS field, the existing methods are divided into four aspects, and the characteristic of each stage is introduced in detail. Then, the datasets are introduced which are often used to verify the effect of NAS methods at this stage, and the normalized evaluation criteria in NAS field are innovatively summarized, so as to ensure the fairness of experimental comparison and promote the long-term development of this field. Finally, the challenges of NAS research are proposed and discussed.

    参考文献
    相似文献
    引证文献
引用本文

李航宇,王楠楠,朱明瑞,杨曦,高新波.神经结构搜索的研究进展综述.软件学报,2022,33(1):129-149

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-11-04
  • 最后修改日期:2021-01-08
  • 录用日期:
  • 在线发布日期: 2021-02-07
  • 出版日期: 2022-01-06
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号