图神经网络回归的人脸超分辨率重建
作者:
作者单位:

作者简介:

呼延康(1992-),男,内蒙古太仆寺旗人,硕士生,主要研究领域为人脸图像处理,3D人脸重建;余乐天(1995-),男,学士,主要研究领域为人脸图像处理,图像合成;樊鑫(1977-),男,博士,教授,博士生导师,CCF高级会员,主要研究领域为计算机视觉与图像处理,医学影像分析;罗钟铉(1966-),男,博士,教授,博士生导师,CCF专业会员,主要研究领域为计算几何,图像处理,机器视觉.

通讯作者:

樊鑫,E-mail:xin.fan@dlut.edu.cn

基金项目:

国家自然科学基金(61572096,61432003)


Graph Based Neural Network Regression Strategy for Facial Image Super-Resolution
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (61572096, 61432003)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
    摘要:

    人脸超分辨率(super-resolution,简称SR)即将输入模糊的低分辨率(low-resolution,简称LR)人脸图像通过一系列算法处理得到较为清晰的高分辨率(high-resolution,简称HR)人脸图像的过程.相比自然图像,不同人脸图像的相同位置通常具有相似的结构.针对人脸图像的局部结构一致性特点,提出一种新的基于图结构的人脸超分辨率神经网络回归方法.将输入低分辨率图像表示为图结构,进而为图结构中每一个节点的局部表示训练一个浅层神经网络进行超分辨率回归.与基于规则矩形网格的方法相比,图结构在描述一个像素的局部信息时,不仅考虑到图像坐标的相关性,同时也关注了纹理的相似性,能够更好地表达图像局部特征.训练过程中,利用已收敛的相邻节点的神经网络参数初始化当前节点的神经网络参数,不仅加快了神经网络的收敛速度,而且提高了预测精度.与包括深度卷积神经网络在内的基于学习的超分辨率最新算法比较,实验结果表明,所提算法取得了更高的准确率.提出的图神经网络(graph neural networks,简称GNN)并不局限于解决人脸超分辨率问题,还可以用于处理其他具有不规则拓扑结构的数据,解决不同的问题.

    Abstract:

    Facial image super-resolution (SR) generates a high-resolution (HR) facial image from a low-resolution (LR) facial image. Compared with natural images, facial images are so highly structured that local patches at similar locations across different faces share similar textures. In this paper, a novel graph-based neural network (GNN) regression is proposed to leverage this local structural information for facial image SR. Firstly, the grid representation of an input face image is converted into its corresponding graph representation, and then a shallow neural network is trained for each vertex in the graph in order to regress the SR image. Compared with its grid-based counterpart, the graph representation combines both coordinate affinity and textural similarity. Additionally, the NN weights of a vertex are initialized with those converged ones from its neighbors, resulting fast convergence for training and accurate regression. Experimental comparison with the state-of-the-art SR algorithms including those based on deep convolutional neural networks (DCNN) on two benchmark face sets demonstrate the effectiveness of the proposed method in terms of both qualitative inspections and quantitative metrics. The proposed GNN is not only able to deal with facial SR, but also has the potential to apply to data examples with any irregular topology structure.

    参考文献
    相似文献
    引证文献
引用本文

呼延康,樊鑫,余乐天,罗钟铉.图神经网络回归的人脸超分辨率重建.软件学报,2018,29(4):914-925

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
历史
  • 收稿日期:2017-04-28
  • 最后修改日期:2017-06-26
  • 录用日期:
  • 在线发布日期: 2017-11-29
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号