无菌条件非接触式多通道自然交互手术环境
CSTR:
作者:
作者单位:

作者简介:

陶建华(1971-),男,江苏淮安人,博士,教授,博士生导师,CCF会士,主要研究领域为语音合成,语音识别,情感计算,人机 对话;王飞(1982-),男,高级工程师,主要研究领域为医疗信息化,医学大数据,人工 智能;杨明浩(1977-),男,博士,副研究员,CCF专业会员,主要研究领域为人机融合感知与决策,身自化认知计算理论与方法,多通道交互信息处理;王红迁(1987-),男,工程师,主要研究领域为大数据架构与研发,人工智能,医疗信息化;王志良(1956-),男,博士,教授,博士生导师,主要研究领域为人工心理理论与方法,机器人,物联网;刘斌(1984-),男,博士,副研究员,CCF专业会员,主要研究领域为语音处理,虚拟听觉;班晓娟(1970-),女,博士,正高级,博士生导师,CCF高级会员,主要研究领域为人工智能,自然人机交互,三维可视化技术;韩志帅(1993-),男,硕士,主要研究领域为人机交互,计算机视觉;解仑(1968-),男,博士,教授,博士生导师,CCF专业会员,主要研究领域为情感计算与智能交互,智能机器人技术,工业控制系统信息安全;潘航(1991-),男,硕士,主要研究领域为情感计算,模式识别;汪云海(1984-),男,博士,教授,博士生导师,CCF专业会员,主要研究领域为计算机图形学,数据可视化;陈文拯(1992-),男,硕士,主要研究领域为计算机视觉;曾琼(1987-),女,博士后,CCF专业会员,主要研究领域为计算机图形学,数据可视化.

通讯作者:

杨明浩,E-mail:mhyang@nlpr.ia.ac.cn

中图分类号:

基金项目:

国家重点研发计划(2016YFB1001404);国家自然科学基金(61873269,61831022,61425017,61332017)


Non Contact Multi-channel Natural Interactive Surgical Environment under Sterile Conditions
Author:
Affiliation:

Fund Project:

National Key Research & Development Plan of China (2016YFB1001404); National Natural Science Foundation of China (61873269, 61831022, 61425017, 61332017)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    无菌和非接触环境是医疗手术室的基本要求,这使得计算机操作室和手术室需要在物理上隔离.同时,因为手术进行中,主治医生如果需要查看病灶图像,通常授意护士或者手术助理到计算机操作室操作病灶图像,由于手术室和计算机操作室间的隔离,以及主治医生和助理间可能存在的意图理解不准确,容易导致护士或者手术助理在手术室和计算机操作室往返多次,这增加了患者手术时间延长、失血增多、脏器暴露时间长等风险,尽量减少手术中定位到病灶图像的时间对于医生和病人都很重要.针对上述需求,借助遮挡环境下的深度图像人体骨架提取、手势跟踪与理解、手术室环境远场语音识别,多模态信息处理与融合技术,构建无菌条件下的非接触式多通道自然交互手术环境.该环境使得主治医生在手术中可通过语音命令、手势及上述交互方式相结合的方式快速定位到需要观察的病灶成像.在接近真实环境的实验环境中,建立的无菌条件的非接触式多通道自然交互手术环境在保证精度的情况下,可显著缩短病灶图像定位时间.无菌环境智能交互医疗手术室为未来下一代高效的手术提供了技术与方法验证.

    Abstract:

    Sterile and non-contact environment is the basic requirement of medical operating room, which makes the computer room and operating room need to be physically isolated. At the same time, if the attending doctor needs to look at the image of the lesion during the operation, he usually instructs the nurse or the assistant to operate the image of the lesion in the computer operating room, because of the isolation between the operating room and the computer room, and because the intention between the attending doctor and the assistant may not be understood accurately, it is easy to lead the nurse or surgical assistant in the operating room and computer room to and fro many times, which increases the risk of prolonged operation time, increased blood loss, and organ exposure time, minimizing the time to locate the lesion image in the operation is important for doctors and patients. To meet the above requirements, a non-contact multi-channel natural interactive surgical environment under aseptic conditions is constructed by means of human skeleton extraction, gesture tracking and understanding, far-field speech recognition in operating room environment, multi-modal information processing, and fusion technology. This environment allows the attending physician to quickly locate the lesion to be observed during surgery by combining voice commands, gestures, and the above interaction. In the experimental environment close to the real environment, the non-contact multi-channel natural interactive surgical environment established in this study can significantly reduce the localization time of the lesion image under the condition of ensuring the accuracy. Intelligent interactive operating room in aseptic environment provides technical and methodological validation for the next generation of efficient surgery.

    参考文献
    相似文献
    引证文献
引用本文

陶建华,杨明浩,王志良,班晓娟,解仑,汪云海,曾琼,王飞,王红迁,刘斌,韩志帅,潘航,陈文拯.无菌条件非接触式多通道自然交互手术环境.软件学报,2019,30(10):2986-3004

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2018-08-18
  • 最后修改日期:2018-11-01
  • 录用日期:
  • 在线发布日期: 2019-05-16
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号