 |
|
|
|
 |
 |
 |
|
 |
|
 |
|
|
| 王志勇,王从艺,张子豪,袁铭择,夏时洪.一种无标记的身体与面部运动同步捕获方法.软件学报,2019,30(10):3026-3036 |
| 一种无标记的身体与面部运动同步捕获方法 |
| Markerless Motion Capture Method Combining Body Capture and Face Capture |
| 投稿时间：2018-08-18 修订日期：2018-11-01 |
| DOI：10.13328/j.cnki.jos.005783 |
| 中文关键词: 运动捕获 人脸人体同步运动捕获 深度图像 多线性模型方法 非刚性迭代最近点方法 |
| 英文关键词:motion capture synchronized motion capture for body and face depth image multilinear model non-rigid ICP |
| 基金项目:国家自然科学基金（61772499） |
| 作者 | 单位 | E-mail | | 王志勇 | 移动计算与新型终端北京市重点实验室(中国科学院 计算技术研究所 前瞻研究实验室), 北京 100190
中国科学院大学, 北京 100049 | | | 王从艺 | 移动计算与新型终端北京市重点实验室(中国科学院 计算技术研究所 前瞻研究实验室), 北京 100190
中国科学院大学, 北京 100049 | | | 张子豪 | 移动计算与新型终端北京市重点实验室(中国科学院 计算技术研究所 前瞻研究实验室), 北京 100190
中国科学院大学, 北京 100049 | | | 袁铭择 | 移动计算与新型终端北京市重点实验室(中国科学院 计算技术研究所 前瞻研究实验室), 北京 100190
中国科学院大学, 北京 100049 | | | 夏时洪 | 移动计算与新型终端北京市重点实验室(中国科学院 计算技术研究所 前瞻研究实验室), 北京 100190
中国科学院大学, 北京 100049 | xsh@ict.ac.cn |
|
| 摘要点击次数: 875 |
| 全文下载次数: 541 |
| 中文摘要: |
| 提供了一个无标记点的身体与面部运动同步捕获的方法.利用经过时间同步和空间标定的长焦彩色相机和Kinect相机来进行同步捕获.利用在环境中加入闪光来进行时间同步，使用张氏标定法进行空间标定，从而组成一组时间同步且空间对齐的混合相机（hybrid camera）.然后利用Kinect fusion扫描用户的人体模型并嵌入骨骼.最后利用时间和空间都对齐好的两个相机来进行同步采集.首先从深度图像中得到人脸的平移参考值，然后在平移参考值的帮助下根据彩色图像的2D特征点重建人脸.随后，把彩色图像中得到的头部姿态传递给身体捕获结果.结果对比实验和用户调研实验均表明所提出的运动捕获的结果要好于单个的运动捕获结果. |
| 英文摘要: |
| This paper presents a markerless synchronized motion capture method for body and face. A long-focus color camera and a standard Kinect camera are used which are synthesized and calibrated. Flush is added into the capture space to make the cameras synthesized. Then, the cameras are calibrated to get the relative transformation of the cameras by Zhang's calibration, In this way, the hybrid camera is configured. The user's body is scanned by Kinect fusion, and the skeleton is embedded for the body model. During capture, the translation reference is firstly obtained from the depth camera. After that, the facial pose and expression and identity are reconstructed by 2D feature points. Non-rigid ICP is applied to reconstruct the body pose. Finally, the head pose from the face capture camera is transformed to body capture camera to get the merged results. The comparison and user study show that the result of proposed synchronized motion capture by two cameras is better than that of single camera. |
|
HTML 下载PDF全文 查看/发表评论 下载PDF阅读器 |
|
|
|
|
|
|
 |
|
|
|
|
 |
|
 |
|
 |
|
