基于“增大化现实”技术腹腔镜的形象。
基于“增大化现实”技术腹腔镜的形象。
来源:Egidijus Pelanis

“XR将外科现实与医学图像融合在一起”

在Shift Medical(9月23-25日)上,顶尖的XR医学专家将聚集在一起,讨论在医学中使用身临其境技术的最新发展。我们和奥斯陆大学医院的医生Egidijus Pelanis讨论了在手术室中应用扩展现实的问题。

面试:Sascha Keutel

扩展现实已经在外科手术中得到了怎样的应用?

虚拟现实(VR)通常用于教育和培训,如解剖学教学,学生可以检查虚拟模型。在医学院,学生们在人工创造的解剖模型上训练。如果不是尸体或来自病人的图像,模型是标准化的。但事实并非如此,因为病人有不同的解剖结构。在VR中,您可以创建非常详细和逼真的患者特定3D模型。用户也可以被放置在逼真的环境中,模拟,并使用控制器在交互过程中获得触觉反馈,在实际程序之前进行训练。

增强现实(AR)更接近实际的手术,因为虚拟图像可以覆盖在真实物体上。在奥斯陆大学医院的干预中心,我们测试了增强现实技术用于腹腔镜肝脏手术.在这里,用户可以放置3D模型,并在3D相机视图中看到这些虚拟元素。然而,在复杂的工作流、可视化以及如何在腹腔镜摄像机视图中呈现这些虚拟元素方面仍然存在一些限制。

混合现实(MR),用户在现实世界中查看数字图像并与它们进行交互。在我们的医院,我们正在与微软的HoloLens 2合作,它允许我们将虚拟物体放入我们的环境中。我们创造了病人的全息图,让他们在周围走动,观察他们的解剖和病理。它使我们能够可视化和探索不同的治疗策略在几个学科-肝脏手术,先天性心脏手术、整形外科等。

使用MR的优点之一是,临床医生更容易接近,不受硬件物理位置的限制。使用头戴式混合现实设备,可以像在现实生活中一样看到模型,并可以用手指向和交互。您可以切换虚拟元素的可见性或查看内部,以更好地理解解剖和病理的空间分布。

在手术中实施XR的挑战是什么?

重要的是要记住,病人是三维的,但医疗专业人员在做决定时仍然关注平面图像。对于教育和病例报告来说,文档通常仅限于医学图像上的文本或注释。这是有限制的,需要很多的想象力来理解这些部位在病人体内的位置。通过创建3D体块渲染和全息图,您可以指向并显示虚拟模型,并结合所有这些媒介和信息以获得更详细的文档。

然而,一个主要的挑战是XR的准备,这些数据需要被处理成三维模型和全息图。医院有很多未经处理的数据,他们仍然使用传统的检查方式。我相信医生,外科医生,甚至病人都应该开始要求他们的解剖和病理的3D表现。

然后,要创建每个病人的3D模型,你需要有足够的证据证明它会有帮助,没有它你就不能为病人做出最好的决定。医院坐拥这一资源,但处理它的医院太少;在没有确凿证据表明数据处理在未来很重要的情况下,很少有人有足够的勇气进行投资。但只有有人花足够的时间在这上面,并公布研究结果,才能证明这一点。

推荐的文章

在XR中使用了哪些不同的导航和可视化方法?

例如,医学图像可用于创建虚拟3D模型,在手术期间将其放置在患者身上。一旦创建了特定患者的3D模型,物理和虚拟空间就可以与跟踪技术相结合。例如,你可以在OR中安装一个光学跟踪系统,它可以探测放置在各种要跟踪的物体上的球体。这使得实时跟踪对象和在OR中放置虚拟元素的能力成为可能。这些融合的场景和图像可以在屏幕上、增强现实中或混合现实中呈现。

这个过程可能需要对导航系统进行一些设置,并需要用户进行一定数量的输入。HoloLens提供了眼球凝视控制功能,因此可以通过注视它们来控制某些功能。例如,当外科医生的手在手术过程中被占用时,他可以看着并激活特定的按钮进行交互,以减少对按钮的物理点击。

推荐的文章

你未来“完美”的手术室是什么样的?

今天,我们缺少一个完整的集成解决方案。手术室的现有技术和新技术大多是独立的;他们有不同的系统和标准。

我看到了一个光明的未来,所有系统都可以相互对话,图像和信息可以在设备之间协同流动;我看到了使用人工智能的决策支持机制,它提供了自动的针对患者和用户的工作流,并预测和显示了接下来的步骤。

也许病人躺在桌子上,完整的病人数据在周围的环境中全息显示。然后由机器人辅助手术系统进行治疗,该系统具有当前和准确的视觉控制,支持外科医生的术中决策和手术。

无论什么新设备或新技术被引入手术室,我希望它们能无缝地集成到整个成像、诊断和治疗工作流程中。

推荐的文章

你参加了“XR会成为手术的新标准吗?”你对这个问题有什么看法?

首先,我们应该继续关注患者,从基于价值的医疗保健角度改善患者护理,而不是被所有未来的新兴技术分心——这些技术与我们童年时代的科幻幻想产生了共鸣。

其次,我认为XR会留下来。各种模式将在医疗保健系统中找到自己的位置。外科医生和临床医生一般会使用他们现有的和最有效的方法。我们总是在寻找解决问题的方法,治疗病人。XR是解决特定通信、可视化和导航挑战的潜在候选人。

起初,人们可能对这些小玩意和酷炫的全息图感到好奇。然而,研究已经开始收集XR可以改善某些方面的知识和例子。尽管我们仍需要更多的研究,例如随机对照试验,提供证据,当对患者进行三维干预时,我们将不得不使用XR设备查看和规划三维干预。

此外,XR的定义可能会随着新设备和小工具的开发而演变。此外,除了可穿戴设备,还有一些未被开发的领域;我想在不久的将来,一些无屏幕和无玻璃3D的增强现实技术将进入手术室。

肖像Egidijus Pelanis
Egidijus Pelanis是奥斯陆大学医院的医生。
来源:Egidijus Pelanis

配置文件
Egidijus Pelanis是一名医生和博士候选人,在挪威奥斯陆大学医院干预中心工作。他在医疗保健领域从事技术工作,是由Bjørn Edwin教授领导的临床研究部门和由Ole Jakob Elle教授领导的医疗控制论和图像处理部门的一部分。Egidijus正在研究各种导航和可视化方法在微创手术中的应用。

不要错过:
转移医疗2021
9月24日(星期五)下午3时30分至6时(中国东部时间)
会议3:外科学中的扩展现实
XR会成为手术的新标准吗?
Egidijus Pelanis:“微创肝脏手术的混合现实。”

特泰莱斯是中国的媒体合作伙伴转移医疗2021会议将于9月23日至25日举行。


您是来自emtech生态系统的专业人士,并有兴趣与Tectales的嘉宾分享您的技术故事?联系我们:editorial@www.lzdntxqz.com

订阅我们的时事通讯

相关文章

微软全息透镜获准用于医疗

微软全息透镜获准用于医疗

openight®增强现实系统是FDA批准的首个微软全息透镜增强现实医疗解决方案。

混合现实增强了脑部手术

混合现实增强了脑部手术

一个研究项目探索了混合现实的使用,使外科医生能够快速准确地识别脑瘤。

世界领先的先驱在医学XR大会上发言

世界领先的先驱在医学XR大会上发言

在Shift Medical, 60多名领先的医学XR专家将展示和讨论数字技术的最新发展,如虚拟现实、增强现实和混合现实在医学上的应用。

手术室中的增强现实:匹配人与机器

手术室中的增强现实:匹配人与机器

未来外科手术的关键技术之一是增强现实技术。大多数专家一致认为,增强现实技术将提高安全性和效率,改善手术培训,并降低成本。

用于外科指导的多模式混合现实可视化

用于外科指导的多模式混合现实可视化

研究人员开发了一个磁共振可视化平台,可以投射多种成像模式,以辅助术中手术指导。

Ocutrx推出8K AR手术系统

Ocutrx推出8K AR手术系统

Ocutrx视觉技术公司发布了一种新的系统,为外科手术可视化提供了最现代的选择,使外科医生更容易进行手术。

混合现实在医学上的有前景的应用

混合现实在医学上的有前景的应用

在2019年的ECR上,研究人员讨论了混合现实在医学教育和培训中的实际应用,以及手术过程中的术前规划和可视化。

AR可以帮助心脏病专家进行复杂的手术

AR可以帮助心脏病专家进行复杂的手术

AR提供了一个新的平台,帮助医生更好地可视化复杂的医疗数据,特别是在医疗程序之前和期间。

全息图像提高神经外科医生的表现

全息图像提高神经外科医生的表现

研究人员开发了一种新的外脑室引流插入技术,该技术涉及到混合现实全息计算机头戴式装置的使用。

受欢迎的文章

订阅简报
Baidu