科学家们还报告说，他们的框架名为“深- z”，能够修复图像中的错误或像差，比如当样本倾斜或弯曲时。此外，他们还证明，该系统可以从一种显微镜中获取2D图像，并虚拟地创建样品的3D图像，就像它们是由另一种更先进的显微镜获得的一样。“这是一个非常强大的新方法,是通过执行3 d成像深度学习的活标本,最少的光照,可以对样品有毒,”资深作者Aydogan Ozcan说,加州大学洛杉矶分校校长的电气和计算机工程教授,加州大学洛杉矶分校的加州纳米系统研究所副主任。
除了使标本免受潜在的破坏性剂量的光的伤害外，该系统还可以为生物学家和生命科学研究人员提供一种新的3D成像工具，它比目前的方法更简单、更快、更便宜。纠正偏差的机会可能会让研究活生物体的科学家从图像中收集数据，否则这些数据将无法使用。调查人员还可以通过虚拟方式获取昂贵而复杂的设备。
广告
广告
这项研究建立在Ozcan和他的同事开发的早期技术的基础上，该技术允许他们以超分辨率渲染2D荧光显微镜图像。这两种技术都通过依赖深度学习来推进显微技术——使用数据来“训练”神经网络，这是一种受人类大脑启发的计算机系统。
Deep-Z是使用扫描荧光显微镜拍摄的实验图像进行教学的，该显微镜在多个深度拍摄聚焦的照片，以实现样品的3D成像。在数千次的训练中，神经网络学会了如何获取2D图像，并在样本的不同深度准确地推断出3D切片。然后，对框架进行盲喂图像测试，将虚拟图像与扫描显微镜获得的实际3D切片进行比较，提供了极好的匹配。
Ozcan和他的同事将深度- z应用到秀丽隐杆线虫的图像上。秀丽隐杆线虫是一种蛔虫，因为它的神经系统简单且易于理解，所以在神经科学中是一种常见的模型。将蚯蚓的2D电影一帧一帧地转换成3D，研究人员能够跟踪蚯蚓体内单个神经元的活动。从在不同深度拍摄的线虫的一到两张2D图像开始，Deep-Z制作出虚拟的3D图像，使研究小组能够识别蛔虫内部的单个神经元，与扫描显微镜的3D输出相匹配，除了暴露在活体上的光线少得多。
Ozcan和他的同事将深度- z应用到秀丽隐杆线虫的图像上。秀丽隐杆线虫是一种蛔虫，因为它的神经系统简单且易于理解，所以在神经科学中是一种常见的模型。将蚯蚓的2D电影一帧一帧地转换成3D，研究人员能够跟踪蚯蚓体内单个神经元的活动。从在不同深度拍摄的线虫的一到两张2D图像开始，Deep-Z制作出虚拟的3D图像，使研究小组能够识别蛔虫内部的单个神经元，与扫描显微镜的3D输出相匹配，除了暴露在活体上的光线少得多。
研究人员还发现Deep-Z可以在样本倾斜或弯曲的2D表面上产生3D图像——即使神经网络只接受与样本表面完全平行的3D切片训练。“这个特征实际上非常令人惊讶，”加州大学洛杉矶分校研究生、该论文的第一作者之一吴宜琛(音译)说。“有了它，你可以看到曲率或其他复杂的拓扑结构，这是非常具有挑战性的图像。”
在其他实验中，Deep-Z使用两种荧光显微镜的图像进行训练:一种是广角显微镜，它将整个样本暴露在光源下;还有共焦技术，它使用激光来逐个扫描样品。Ozcan和他的团队表明，他们的框架可以使用样品的2D广域显微镜图像来产生与用共焦显微镜拍摄的图像几乎相同的3D图像。
这种转换是有价值的，因为与宽视场相比，共焦显微镜产生的图像更清晰，对比度更高。另一方面，宽视场显微镜以更低的成本和更少的技术要求捕捉图像。“这是一个普遍适用于各种显微镜的平台，而不仅仅是广域到共焦转换，”加州大学洛杉矶分校电子和计算机工程助理副教授、共同第一作者Yair Rivenson说。“每台显微镜都有自己的优点和缺点。有了这个框架，你可以利用人工智能将不同类型的显微镜数字化连接起来，从而两全其美。”
来源:加州大学洛杉矶分校
