从一次大脑扫描中，AI获得了更多信息

医学中一个活跃的新领域涉及训练深度学习模型，以检测与神经系统疾病和失调(如阿尔茨海默氏症和多发性硬化症)相关的大脑扫描中的结构模式。但收集训练数据是一项艰巨的工作:每次扫描中的所有解剖结构都必须由神经学专家单独勾画或手工标注。而且，在某些情况下，比如儿童罕见的脑部疾病，首先可能只有少量的扫描。

麻省理工学院的研究人员描述了一种系统，该系统使用单个标记扫描和未标记扫描，自动合成大量不同的训练示例数据集。这些数据集可以用来更好地训练机器学习模型，以便在新的扫描中发现解剖结构——训练数据越多，预测效果就越好。

该工作的关键是自动生成“图像分割”过程中的数据，该过程将图像分割成更有意义、更容易分析的像素区域。为此，该系统使用了卷积神经网络(CNN)，这是一种机器学习模型，已成为图像处理任务的动力源泉。该网络分析了来自不同病人和不同设备的大量未标记扫描，以“了解”解剖、亮度和对比度的变化。然后，它将这些学习到的变化随机组合到单个标记的扫描，以合成新的扫描，既真实又准确标记。然后，这些新合成的扫描图像被输入一个不同的CNN，该CNN学习如何分割新的图像。“我们希望这将使图像分割在没有大量训练数据的现实情况下更容易实现，”第一作者Amy Zhao说，她是电子工程与计算机科学系(EECS)和计算机科学与人工智能实验室(CSAIL)的研究生。“在我们的方法中，你可以学会模仿未标记扫描的变化，从而智能地合成一个大数据集来训练你的网络。”

例如，在麻省总医院(Massachusetts General Hospital)，人们对使用该系统来帮助训练预测分析模型很感兴趣，赵说，在那里，只有一两个标记的扫描图可能存在儿童患者中特别不寻常的大脑状况。

系统背后的“魔力”

虽然现在该系统已被应用于医疗成像，但它一开始实际上是作为一种为智能手机应用程序合成训练数据的手段，该应用程序可以识别和检索流行纸牌收集游戏《万智牌》(Magic: the Gathering)中的纸牌信息。《Magic》发行于20世纪90年代初，拥有超过20,000张独特的纸牌——每隔几个月就会发行更多的纸牌——玩家可以使用它们来创建自定义的牌组。

赵先生想要开发一款基于cnn的应用程序，它可以用智能手机摄像头拍摄任何一张信用卡的照片，并自动从在线信用卡数据库中提取价格和评级等信息。“当我在一家游戏商店挑选卡片时，我厌倦了在手机里输入所有卡片的名字，然后查看评级和组合，”赵说。“如果我能用我的手机扫描并调出这些信息，那不是很棒吗?”

但她意识到这是一项非常困难的计算机视觉训练任务。“你需要在所有不同的光照条件和角度下，拍摄全部2万张卡片的大量照片。没有人会去收集这些数据，”赵说。

相反，赵训练CNN使用200张左右的小数据集，每张卡片有10张不同的照片，学习如何将一张卡片变形到不同的位置。它计算不同的光线、角度和反射——当卡片被放在塑料套里时——以合成数据集中任何卡片的真实变形版本。这是一个令人兴奋的激情项目，赵说:“但我们意识到这种方法非常适合医学图像，因为这种类型的翘曲非常适合核磁共振成像。”

心灵扭曲

核磁共振成像由称为体素的三维像素组成。在进行mri分割时，专家们根据包含体素的解剖结构，对体素区域进行分离和标记。由于每个人的大脑和使用的设备不同，导致扫描的多样性，这对使用机器学习来自动化这一过程提出了挑战。现有的一些方法可以使用“数据增强”从标记扫描合成训练示例，这种方法将标记体素扭曲到不同的位置。但这些方法需要专家手写各种增强指南，而且一些合成扫描看起来一点也不像真实的人脑，这可能对学习过程有害。

相反，研究人员的系统会自动学会如何合成真实的扫描结果。研究人员用100张真实病人的未标记扫描图训练他们的系统来计算空间转换——从扫描到扫描的解剖对应关系。这就产生了许多“流场”，用来模拟体素如何从一个扫描移动到另一个扫描。同时，它计算强度变换，捕捉由图像对比度、噪声和其他因素引起的外观变化。

在生成一个新的扫描时，系统将一个随机流场应用于原始的有标记的扫描，该扫描在体素周围移动，直到它在结构上与真实的、无标记的扫描相匹配。然后，它覆盖一个随机强度变换。最后，系统通过跟踪体素在流场中的移动，将标签映射到新的结构。最后，合成的扫描图与真实的、没有标签的扫描图非常相似——但是标签是准确的。

为了测试他们自动分割的准确性，研究人员使用了Dice分数，即在0到1的范围内衡量一个三维形状与另一个形状的匹配程度。他们将他们的系统与传统的分割方法——手动和自动——进行了100次测试扫描，对30个不同的大脑结构进行了比较。在所有方法中，大型结构的精度比较高。但是，研究人员的系统在小结构上的表现优于其他所有方法，比如海马体，其体积只占大脑的约0.6%。“这表明我们的方法比其他方法更好，特别是当你进入更小的结构时，这对理解疾病非常重要，”赵说。“我们这样做的时候只需要一个手写标签的扫描。”