主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公English
2020-2021年专刊出版计划 微信服务介绍 最新一期:2021年第1期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
张世程,陈根方,张明敏,赵培涛,潘志庚.基于Kinect的民族弓弦乐器虚拟演奏系统.软件学报,2015,26(S2):198-207
基于Kinect的民族弓弦乐器虚拟演奏系统
Kinect-Based Virtual Performance System of National Bowed String Instruments
投稿时间:2014-06-20  修订日期:2014-08-20
DOI:
中文关键词:  虚拟演奏  Kinect  增强现实  手势识别
英文关键词:virtual performance  Kinect  augmented reality  gesture recognition
基金项目:国家社会科学基金(12AZD120);国家自然科学基金(61332017, 61173124);浙江省自然科学基金(LY14F020037);国家科技支撑计划(2015BAK04B00)
作者单位E-mail
张世程 杭州师范大学数字媒体与人机交互研究中心, 浙江杭州 311121  
陈根方 杭州师范大学数字媒体与人机交互研究中心, 浙江杭州 311121  
张明敏 CAD & CG国家重点实验室(浙江大学), 浙江杭州 310058 zmm@cad.zju.edu.cn 
赵培涛 CAD & CG国家重点实验室(浙江大学), 浙江杭州 310058  
潘志庚 杭州师范大学数字媒体与人机交互研究中心, 浙江杭州 311121  
摘要点击次数: 1650
全文下载次数: 1874
中文摘要:
      利用Kinect相机结合增强现实技术和手势识别方法设计并实现了一个弓弦乐器虚拟演奏系统——以二胡为例.将Kinect获取的现实场景和虚拟乐器融合在一起绘制成增强现实场景.通过Kinect得到的深度数据和贝叶斯肤色模型将用户的左手分割出来,并再次绘制在增强图像上形成新的图像,从而解决虚拟演奏场景中的虚实遮挡问题.利用基于反向动力学和马尔可夫模型的三维虚拟手势拟合方法,对演奏过程中的左手手势进行识别,并结合右手的运动状态完成乐器的虚拟演奏.
英文摘要:
      Using Kinect camera combined with augmented reality and hand gesture recognition method, this paper designs and implements a virtual playing system for bowstring musical instruments (e.g. erhu). The fusion rendering of real scene captured by Kinect and virtual instrument forms the augmented reality scene. Through the depth data and a Bayesian skin model, the system segments the user's left hand region, then draws the hand image on the enhanced image, thus solving the problem of occlusion between virtual and real worlds in augmented reality system. Based on inverse kinematic methods and Markov model the presented design also provides a 3D virtual gesture fitting method to recognize left hand gestures, then completes the virtual instruments playing combined with right hand movement status.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会 京ICP备05046678号-4
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利