深度学习精确染色数字化活检切片

用于肿瘤数字化染色的神经网络模型激活图。

来源:图片由研究人员提供。

病理学家在盲法研究中检查了计算染色的H&E载玻片图像，在使用它们准确识别和分级时，无法将它们与传统染色的载玻片区分开来前列腺癌．更重要的是，研究人员得出结论，这些幻灯片还可以通过计算“去污”，将其重置为原始状态，以便在未来的研究中使用。

这一过程的计算数字染色和去染色保留了少量组织通过对癌症患者进行活检，研究人员和临床医生可以分析用于多种诊断和预后测试的切片，而不需要提取额外的组织切片。“我们研发的去染色工具可能会极大地扩展我们的研究能力，使我们能够对数百万的已有临床结果数据的切片进行研究，”Alarice Lowe副教授说病理斯坦福大学循环肿瘤细胞实验室主任，也是论文的合著者。“应用这项工作并严格验证这些发现的可能性真的是无限的。”

研究人员还分析了深度学习神经网络染色玻片的步骤，这是这些临床转化的关键深度学习麻省理工学院首席研究科学家、该研究的资深作者普拉提克·沙阿(Pratik Shah)说。“问题在于组织，解决方案在于算法，但我们还需要对这些学习系统产生的结果进行验证，”他说。“这为深度学习模型的随机临床试验及其临床应用结果提供了解释和验证。”

创建“兄弟姐妹”幻灯片

为了制作经计算染色的幻灯片，沙阿和他的同事们进行了深入的训练神经网络它通过比较H&E染色前后的活检切片数字图像来学习。这是一项非常适合神经网络的任务，Shah说，“因为它们在学习数据的分布和映射方面非常强大，而人类学得不好。”

沙阿称这些配对为“兄弟姐妹”，并指出，这个过程通过显示数千对兄弟姐妹对来训练网络。他说，经过培训后，该网络只需要“低成本、易于管理的同类设备”——无染色活检图像——来生成新的计算H&E染色图像，或者相反，H&E染色图像实际上是去污的。

在当前的研究中，研究人员使用了87000个图像补丁(整个数字图像的一小部分)来训练这个网络，这些图像补丁来自于2014年至2017年在布里格姆妇女医院(Brigham and Women’s Hospital)接受过活检的38名男性的前列腺组织。作为研究的一部分，组织和患者的电子健康记录被去除身份。

当Shah和他的同事逐个像素比较常规染色和计算染色的图像时，他们发现神经网络执行了精确的虚拟H&E染色，生成的图像与染色后的图像相似度达到90- 96%。深度学习算法还可以逆转这一过程，以相似的准确率将计算着色的幻灯片还原到原始状态。“这项工作已经表明，计算机算法能够可靠地提取未染色的组织，并使用H&E进行组织化学染色，”洛说，他说，这个过程也为使用其他染色和病理学家经常使用的分析方法“奠定了基础”。

计算染色切片可以帮助自动化耗时的染色过程，但Shah表示，去除染色和保存图像以供未来使用的能力是深度学习技术的真正优势。“我们不仅仅是在解决染色问题，我们还在解决保存组织的问题，”他说。

软件作为医疗设备

作为研究的一部分，四名经过委员会认证和培训的病理学专家标记了13组计算染色和传统染色的幻灯片，以识别和分级潜在的肿瘤。在第一轮实验中，随机选择两名病理学家提供计算染色图像，而H&E染色图像则提供给另外两名病理学家。四周后，病理学家交换了图像集，并进行了另一轮的注释。病理学家在两组幻灯片上的注释有95%的重叠。“人类读者无法将它们区分开来，”沙阿说。

病理学家从计算染色切片中得出的评估也与患者电子健康记录中的大部分初步临床诊断一致。研究人员发现，在两个病例中，经过计算的染色图像推翻了最初的诊断。“数字染色图像能够提供更高准确度的诊断，这一事实说明了图像质量的高保真度，”Lowe说。

该研究的另一个重要部分涉及使用新的方法来可视化和解释神经网络如何组装经过计算染色和去染色的图像。这是通过使用神经网络模型的激活图创建一个逐像素的可视化和解释过程来完成的，这些神经网络模型对应于肿瘤和其他临床医生用于鉴别诊断的特征。

Shah说，这种类型的分析有助于创建一个验证过程，这是在评估“软件作为医疗设备”时所需要的。Shah正在与美国食品和药物管理局合作，研究如何规范和转化临床应用的计算医学。“问题是，我们如何将这项技术应用到临床环境中，使患者和医生的利益最大化?”沙阿说。“研发这项技术的过程包括所有这些步骤:高质量的数据、计算机科学、模型解释和基准性能、图像可视化，以及与临床医生合作进行多轮评估。”