并不是每一个手术需要增强现实技术的支持,汉森教授说,因为外科医生可以在没有先进导航系统的情况下做阑尾手术。增强现实技术需要用于更复杂的干预,而这些干预很少进行。
但到底是什么基于“增大化现实”技术吗?“增强现实”的意思是通过增加一层虚拟信息来增强现实。附加层应在正确位置,即几何配准;它应该是交互式的,并且是实时可用的。除了视觉信息,AR还可以提供音频、触觉、嗅觉甚至味觉信息。”汉森教授解释道,并补充说,AR有三种不同的模式:视频透视、光学透视和基于投影仪的AR。
视频透视
在视频中,真实世界的视频提要被显示在添加了数字信息的屏幕上。这种模式被广泛应用于医疗保健,特别是在研究项目和临床研究中,但也“常规应用于”腹腔镜检查以及内窥镜检查,因为这些设备可以很容易地升级以显示额外的信息。”汉森教授说。例如,CAScination就是腹腔镜检查的提供者之一。不过,视频透视技术在医学之外的许多领域也得到了应用:如果你对宜家产品目录中的一篇文章感兴趣,在手机和应用程序的帮助下,你可以看到它在你自己家里是什么样子的。
“视频透视的缺点是相机的分辨率有限,”汉森教授解释说,但他补充说,“技术进步迟早会克服这一障碍。”然而,另一个问题是用户和病人之间的屏幕”。
光学透明的
在光学透明系统中,真实世界的图像不是显示在屏幕上,而是投射到一个倾斜的半透明镜子上。Stryker已经开始在耳鼻喉科手术中使用光学透视技术。
的微软HoloLens耳机是一种广泛使用的光学透明设备,为外科医生提供实时重要数据和诊断图像。身体佩戴的AR解决方案的缺点是,眼镜仍然相当大。长时间佩戴眼镜是不舒服的,特别是如果外科医生使用普通眼镜或放大镜来改善视力。
此外,这种光学透明介质会吸收光线,让现实看起来比实际更黑——这是外科医生必须习惯的。汉森教授说,要想让AR耳机征服手术室,“它们必须变得更小、更实用,而且必须更好地适应手术使用。”
Projector-based基于“增大化现实”技术
基于投影机的增强现实技术不依赖于穿戴或手持设备。相反,放映机被整合到OR环境中,“信息被投射到感兴趣的物体上。”因此,数字信息增强了现实。”汉森教授解释道。
这种方式仍处于早期研究阶段,目前还没有商业化的设备。根据汉斯教授的说法,“放映机会产生太多的空气和热量,不能安装在手术室里”。使用单一投影仪的另一个潜在问题是,外科医生或其他or团队成员可能会阻碍光束。LAP使用基于投影机的增强现实技术进行放射治疗计划或患者在CT和MRI中的定位。
跨学科合作
大多数叠加都不是二维图像,而是三维数据集,可以包括皮肤、不同器官表面、血管系统等多层数据。“这些组件及其相互作用非常复杂,我们正试图弄清楚外科医生如何才能最好地与这些数据集互动。”由于外科医生通常只有一只手,声音激活或手和脚的组合运动将是理想的”。
汉森教授强调,为了能够回答所有这些问题,并开发有用的增强现实系统,跨学科合作是至关重要的。除了外科医生,信息技术专家,尤其是心理学家也扮演着重要的角色。“这是一个人机界面;因此,我们需要澄清一些心理问题。当新技术过早推出时,人们可能会过于信任和依赖这些系统。我们都知道有这样的故事,有人开车直接掉入河里,因为他们盲目地依赖导航系统。”另一个问题是注意力分散:AR覆盖了现实中发生的事情的注意力。因此,外科医生可能过于关注数字信息,而忽略了意外发生的出血。
培训
沉浸式技术是有用的培训工具。虽然AR图像对有经验的外科医生来说可能不是太重要,但对初级医生来说却是至关重要的。“我希望虚拟现实在外科培训中扮演重要角色。模拟器可以引导学员通过高度沉浸式多用户环境。他们可以接触到不同的场景,并在复杂的情况下训练行为,或者与手术室团队沟通。”汉森教授解释道。
汉森教授和他的团队正在与美因茨大学医院(University Hospital Mainz)进行一项联合项目,试验这种培训。由德国联邦教育和研究部资助,他们将虚拟现实系统与相关技术结合起来模拟和培训软件。医生们戴着耳机,可以进入多用户环境。这个虚拟现实场景是连接到腹腔镜或麻醉模拟器,以训练某些情况。举个例子:在手术过程中,一个血管夹掉了,患者失血过多,生命参数达到临界水平。干预的成功在很大程度上取决于外科医生和麻醉师之间的沟通——这是一种可以通过虚拟现实训练的场景。
未来的OR
在汉森教授的手术室里,未来的机器人将会比现在的系统小得多。他们配备了微型仪器,外科医生可以通过身体的自然孔插入。此外,在混合or中,移动和多模态成像系统将被常规使用。“由于有了现代界面,先进的可视化技术将成为标准;它们将允许不同的数据集叠加成增强现实图像。”
简介:
克里斯蒂安·汉森教授在马格德堡的奥托·冯·格里克大学研究医学领域的计算视觉学。从2006年到2013年,他在不来梅的Fraunhofer Institute for Digital Medicine MEVIS从事不同的研究和开发领域。2013年9月,Hansen被任命为马格德堡大学仿真图形/计算机科学系计算机辅助外科初级教授。2020年9月,他担任虚拟和增强现实兼职教授。
您是来自emtech生态系统的专业人士,有兴趣与Tectales的嘉宾分享您的技术故事吗?联系我们:editorial@www.lzdntxqz.com。