全景的虚拟手术室培训腹腔镜…
在软件模拟的帮助下,用于训练腹腔镜干预的虚拟手术室的全景图。
来源:马格德堡大学

增强现实在手术室:匹配的人和机器

增强现实技术(AR)是未来外科领域的关键技术之一。大多数专家认为增强现实技术将提高安全性和效率,改善外科培训并降低成本。德国马格德堡奥托·冯·格里克大学的虚拟和增强现实教授克里斯蒂安·汉森博士表示,目前“AR还没有得到尽可能的应用”。然而,他解释说,这并不是因为医生对这项新技术望而却步,而是因为这项技术还不够成熟。他强调说:“关键不是要在数据集中增加一个计算机图形层,而是要提高可视化的准确性。”

报告:Sascha Keutel

并不是每一个手术需要增强现实技术的支持,汉森教授说,因为外科医生可以在没有先进导航系统的情况下做阑尾手术。增强现实技术需要用于更复杂的干预,而这些干预很少进行。

但到底是什么基于“增大化现实”技术吗?“增强现实”的意思是通过增加一层虚拟信息来增强现实。附加层应在正确位置,即几何配准;它应该是交互式的,并且是实时可用的。除了视觉信息,AR还可以提供音频、触觉、嗅觉甚至味觉信息。”汉森教授解释道,并补充说,AR有三种不同的模式:视频透视、光学透视和基于投影仪的AR。

使用平板电脑的导航支持(视频透视AR)。计划……
使用平板电脑的导航支持(视频透视AR)。通过十字准线可视化显示计划的穿刺部位以及针的方向和深度。
来源:马格德堡大学

视频透视

在视频中,真实世界的视频提要被显示在添加了数字信息的屏幕上。这种模式被广泛应用于医疗保健,特别是在研究项目和临床研究中,但也“常规应用于”腹腔镜检查以及内窥镜检查,因为这些设备可以很容易地升级以显示额外的信息。”汉森教授说。例如,CAScination就是腹腔镜检查的提供者之一。不过,视频透视技术在医学之外的许多领域也得到了应用:如果你对宜家产品目录中的一篇文章感兴趣,在手机和应用程序的帮助下,你可以看到它在你自己家里是什么样子的。

“视频透视的缺点是相机的分辨率有限,”汉森教授解释说,但他补充说,“技术进步迟早会克服这一障碍。”然而,另一个问题是用户和病人之间的屏幕”。

在VR模拟器的帮助下进行腹腔镜干预的培训。
在VR模拟器和特殊操纵杆作为输入设备的帮助下进行腹腔镜干预的培训。
资料来源:美因茨大学医学中心

光学透明的

在光学透明系统中,真实世界的图像不是显示在屏幕上,而是投射到一个倾斜的半透明镜子上。Stryker已经开始在耳鼻喉科手术中使用光学透视技术。

微软HoloLens耳机是一种广泛使用的光学透明设备,为外科医生提供实时重要数据和诊断图像。身体佩戴的AR解决方案的缺点是,眼镜仍然相当大。长时间佩戴眼镜是不舒服的,特别是如果外科医生使用普通眼镜或放大镜来改善视力。

此外,这种光学透明介质会吸收光线,让现实看起来比实际更黑——这是外科医生必须习惯的。汉森教授说,要想让AR耳机征服手术室,“它们必须变得更小、更实用,而且必须更好地适应手术使用。”

基于投影机的AR测试实验室。投影表示可以是…
基于投影机的AR测试实验室。在跟踪的3D输入设备的帮助下,用户可以调整投影表示。
来源:马格德堡大学

Projector-based基于“增大化现实”技术

基于投影机的增强现实技术不依赖于穿戴或手持设备。相反,放映机被整合到OR环境中,“信息被投射到感兴趣的物体上。”因此,数字信息增强了现实。”汉森教授解释道。

这种方式仍处于早期研究阶段,目前还没有商业化的设备。根据汉斯教授的说法,“放映机会产生太多的空气和热量,不能安装在手术室里”。使用单一投影仪的另一个潜在问题是,外科医生或其他or团队成员可能会阻碍光束。LAP使用基于投影机的增强现实技术进行放射治疗计划或患者在CT和MRI中的定位。

基于投影机的AR测试实验室。投影表示可以是…
基于投影机的AR测试实验室。投影表示法可以由用户在脚和头跟踪系统的帮助下进行调整。通过跟踪用户手中的指针,可以选择特定的对象。
来源:马格德堡大学

跨学科合作

大多数叠加都不是二维图像,而是三维数据集,可以包括皮肤、不同器官表面、血管系统等多层数据。“这些组件及其相互作用非常复杂,我们正试图弄清楚外科医生如何才能最好地与这些数据集互动。”由于外科医生通常只有一只手,声音激活或手和脚的组合运动将是理想的”。

汉森教授强调,为了能够回答所有这些问题,并开发有用的增强现实系统,跨学科合作是至关重要的。除了外科医生,信息技术专家,尤其是心理学家也扮演着重要的角色。“这是一个人机界面;因此,我们需要澄清一些心理问题。当新技术过早推出时,人们可能会过于信任和依赖这些系统。我们都知道有这样的故事,有人开车直接掉入河里,因为他们盲目地依赖导航系统。”另一个问题是注意力分散:AR覆盖了现实中发生的事情的注意力。因此,外科医生可能过于关注数字信息,而忽略了意外发生的出血。

用于麻醉交流训练的虚拟现实场景…
在手术干预过程中发生并发症时,用于麻醉交流的VR场景。
来源:马格德堡大学

培训

沉浸式技术是有用的培训工具。虽然AR图像对有经验的外科医生来说可能不是太重要,但对初级医生来说却是至关重要的。“我希望虚拟现实在外科培训中扮演重要角色。模拟器可以引导学员通过高度沉浸式多用户环境。他们可以接触到不同的场景,并在复杂的情况下训练行为,或者与手术室团队沟通。”汉森教授解释道。

汉森教授和他的团队正在与美因茨大学医院(University Hospital Mainz)进行一项联合项目,试验这种培训。由德国联邦教育和研究部资助,他们将虚拟现实系统与相关技术结合起来模拟和培训软件。医生们戴着耳机,可以进入多用户环境。这个虚拟现实场景是连接到腹腔镜或麻醉模拟器,以训练某些情况。举个例子:在手术过程中,一个血管夹掉了,患者失血过多,生命参数达到临界水平。干预的成功在很大程度上取决于外科医生和麻醉师之间的沟通——这是一种可以通过虚拟现实训练的场景。

未来的OR

照片
克里斯汀·汉森博士,马格德堡奥托·冯·格里克大学虚拟和增强现实教授。

在汉森教授的手术室里,未来的机器人将会比现在的系统小得多。他们配备了微型仪器,外科医生可以通过身体的自然孔插入。此外,在混合or中,移动和多模态成像系统将被常规使用。“由于有了现代界面,先进的可视化技术将成为标准;它们将允许不同的数据集叠加成增强现实图像。”

简介:
克里斯蒂安·汉森教授在马格德堡的奥托·冯·格里克大学研究医学领域的计算视觉学。从2006年到2013年,他在不来梅的Fraunhofer Institute for Digital Medicine MEVIS从事不同的研究和开发领域。2013年9月,Hansen被任命为马格德堡大学仿真图形/计算机科学系计算机辅助外科初级教授。2020年9月,他担任虚拟和增强现实兼职教授。


您是来自emtech生态系统的专业人士,有兴趣与Tectales的嘉宾分享您的技术故事吗?联系我们:editorial@www.lzdntxqz.com。

订阅我们的时事通讯

相关文章

用于虚拟手术训练的髋关节植入模拟器

用于虚拟手术训练的髋关节植入模拟器

动态髋关节研究团队正在研究一种髋关节置换模拟器,它将帮助未来的外科医生实践干预。

VR和轻型机器人模拟髋关节置换

VR和轻型机器人模拟髋关节置换

研究人员开发了一种HIPS,这是世界上第一个用于髋关节置换手术的虚拟现实训练模拟器。

创建一个可访问的手术模拟器

创建一个可访问的手术模拟器

研究人员正在开发一种模拟器,既可以用于培训职业生涯早期阶段的外科医生,也可以用于培训经验更丰富的外科医生。

智能手术-从技术魅力到临床现实

智能手术-从技术魅力到临床现实

人工智能正以惊人的速度发展,智能仪器将深刻地改变外科手术和医疗干预。

混合现实在医学上有前景的应用

混合现实在医学上有前景的应用

在2019年的ECR上,研究人员讨论了混合现实在医学教育和培训中的实际应用,以及手术过程中的术前规划和可视化。

在MEDICA 2018年度获得“台湾卓越奖”

在MEDICA 2018年度获得“台湾卓越奖”

在2018年MEDICA大会上,台湾多家公司展示了一系列创新医疗技术,如虚拟3D解剖模型、机器人康复助手和智能尿布。

看,摸,训练-虚拟手术模拟器介绍

看,摸,训练-虚拟手术模拟器介绍

“HandsOn。手术", the prototype of a virtual surgery trainer helps surgeons prepare for individual patient cases prior to surgery, and enables them to practice the surgery.

人工智能比全息显示更好

人工智能比全息显示更好

研究人员正在开发新技术,以改善虚拟现实和增强现实技术的3D显示。

XR将手术现实与医学图像融合

XR将手术现实与医学图像融合

奥斯陆大学医院的医生Egidijus Pelanis解释了扩展现实是如何应用于手术室的。

受欢迎的文章

订阅简报
Baidu