结合面部动作单元感知的三维人脸重建算法
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

薛健,E-mail:xuejian@ucas.ac.cn

中图分类号:

基金项目:

国家自然科学基金(62236006,62032022,61972375);北京市自然科学基金(4222040)


AU-aware Algorithm for 3D Facial Reconstruction
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    三维人脸重建在计算机视觉及动画领域是一项重要任务, 它可以为人脸多模态应用提供三维模型结构和丰富的语义信息. 然而, 单目二维人脸图像缺乏深度信息, 预测的三维模型参数不够可靠, 从而导致重建效果不佳. 提出采用与模型参数高度相关的面部动作单元和人脸关键点作为桥梁, 引导模型相关参数回归, 以解决单目人脸重建的不适定问题. 基于人脸重建的现有数据集, 提供一套完整的面部动作单元半自动标注方案, 并构建300W-LP-AU数据集. 进而提出一种结合动作单元感知的三维人脸重建算法. 该算法实现端到端的多任务学习, 有效降低了整体训练难度. 实验结果表明, 该算法能有效地提升三维人脸重建性能, 重建的人脸模型具有更高的保真度.

    Abstract:

    As a critical task in computer vision and animation, facial reconstruction can provide 3D model structures and rich semantic information for multi-modal facial applications. However, monocular 2D facial images lack depth information and the parameters of the predicted facial model are not reliable, which causes poor reconstruction results. This study proposes to employ facial action unit (AU) and facial keypoints which are highly correlated with model parameters as a bridge to guide the regression of model-related parameters and thus solve the ill-posed monocular facial reconstruction. Based on existing facial reconstruction datasets, this study provides a complete semi-automatic labeling scheme for facial AUs and constructs a 300W-LP-AU dataset. Furthermore, a 3D facial reconstruction algorithm based on AU awareness is put forward to realize end-to-end multi-tasking learning and reduce the overall training difficulty. Experimental results show that it improves the facial reconstruction performance, with high fidelity of the reconstructed facial model.

    参考文献
    相似文献
    引证文献
引用本文

章毅,吕嘉仪,兰星,薛健.结合面部动作单元感知的三维人脸重建算法.软件学报,2024,35(5):2176-2191

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2023-04-10
  • 最后修改日期:2023-06-08
  • 录用日期:
  • 在线发布日期: 2023-09-11
  • 出版日期: 2024-05-06
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号