主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公编辑办公English
2018-2019年专刊出版计划 微信服务介绍 最新一期:2019年第6期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
王志勇,王从艺,张子豪,袁铭择,夏时洪.一种无标记的身体与面部运动同步捕获方法.软件学报,2019,30(10):0
一种无标记的身体与面部运动同步捕获方法
A Markerless Motion Capture Method Combining Body Capture and Face Capture
投稿时间:2018-08-18  修订日期:2018-11-01
DOI:10.13328/j.cnki.jos.005783
中文关键词:  运动捕获  人脸人体同步运动捕获  深度图像  多线性模型方法  非刚性迭代最近点方法
英文关键词:Motion Capture  synchronized motion capture for body and face  depth image  multilinear model  non-rigid ICP
基金项目:国家自然科学基金:基于单目RGB/RGBD相机的身体运动和面部运动同步捕获方法研究(61772499)
作者单位E-mail
王志勇 中国科学院计算技术研究所 前瞻研究实验室 移动计算与新型终端北京市重点实验室 北京 100190
中国科学院大学 北京 100049 
 
王从艺 中国科学院计算技术研究所 前瞻研究实验室 移动计算与新型终端北京市重点实验室 北京 100190
中国科学院大学 北京 100049 
 
张子豪 中国科学院计算技术研究所 前瞻研究实验室 移动计算与新型终端北京市重点实验室 北京 100190
中国科学院大学 北京 100049 
 
袁铭择 中国科学院计算技术研究所 前瞻研究实验室 移动计算与新型终端北京市重点实验室 北京 100190
中国科学院大学 北京 100049 
 
夏时洪 中国科学院计算技术研究所 前瞻研究实验室 移动计算与新型终端北京市重点实验室 北京 100190 xsh@ict.ac.cn 
摘要点击次数: 203
全文下载次数: 189
中文摘要:
      本文提供了一个无标记点的身体与面部运动同步捕获的方法.我们利用经过时间同步和空间标定的长焦彩色相机和Kinect相机来进行同步捕获.我们利用在环境中加入闪光来进行时间同步,使用张氏标定法[1]进行空间标定,从而组成一组时间同步且空间对齐的混合相机(Hybrid Camera).然后我们利用Kinect fusion扫描用户的人体模型并嵌入骨骼.最后我们利用时间和空间都对齐好的两个相机来进行同步采集.我们首先从深度图像中得到人脸的平移参考值,然后在平移参考值的帮助下从彩色图像的2D特征点重建人脸.随后,我们把彩色图像中得到的头部姿态传递给身体捕获结果.我们的结果对比实验和用户调研实验证明了我们的运动捕获的结果要好于单个的运动捕获结果.
英文摘要:
      This paper presents a markerless synchronized motion capture method for body and face. We use a long-focus color camera and a standard Kinect camera which are synthesized and calibrated. We add flush into the capture space to make the cameras to be synthesized. Then we calibrate the cameras to get the relative transformation of the cameras by Zhang's calibration. Then we scan the user's body by Kinect fusion, and embed the skeleton for the body model. During capture, we first get the translation reference from the depth camera. After that, we reconstruct the facial pose and expression and identity by 2D feature points. We apply non-rigid ICP to reconstruct the body pose. Finally, we transform the head pose from the face capture camera to body capture camera to get merge the results. Our comparison and user study shows the result of our synchronized motion capture by two cameras is better than that of single camera.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利