用AR显微镜圈出肿瘤!Google发表AI深度学习新平台

用AR显微镜圈出肿瘤!Google发表AI深度学习新平台透过扩增实境显微镜观察到的视图。这些图像展示了4x、10x、20x和40x放大倍数下的淋巴结标本。

深度学习技术近来在眼科、皮肤科、放射科和病理科等医学学科领域展现出了极大的应用前景,它可以帮助为世界各地的患者提供更加精準、可用的高品质医疗服务。Google 近期也发布了一项研究成果,该成果显示,卷积神经网路检测淋巴结中的乳腺癌转移的準确率,可以媲美一名训练有素的病理学家。然而,目前为止,用複合光学显微镜直接观察组织仍然是病理学家诊断疾病的主要手段,如何将微观组织进行数位化展示成了深度学习技术在病理学科大规模应用的关键挑战。

今天,在美国癌症研究协会年会的一个演讲中,团队透过一篇题为《扩增实境显微镜即时自动检测癌症》的论文,介绍了一款扩增实境显微镜的平台原型,团队相信这款产品可以帮助加速深度学习技术在全球病理学领域的推广应用。

该平台由一个经过改良的光学显微镜组成,能够对图像进行即时分析并直接在用户的视野中显示机器学习演算法的分析结果。

值得一提的是,只需使用低成本的、现成的元件,就可以将这款扩增实境显微镜改造成世界各地医院和诊所中常见的普通光学显微镜,而且无需对数位系统进行全面升级就能进行组织分析。

现代计算组件和深度学习模型——比如在 TensorFlow 平台上构建的模型,使得这个扩增实境显微镜平台能够执行大量的预训练模型。和使用传统显微镜的方法一样,用户透过目镜观察样品,机器学习演算法输出的结果将即时投射到光路中,叠加在样本的原始图像之上,帮助观察者快速定位和量化感兴趣的特徵。而且,平台的计算和视觉回馈非常迅速——目前速度已经达到了 10 帧/秒,这意味着当用户移动组织或放大倍数做进一步观察时,可以获得流畅、无缝的视觉体验。

理论上,扩增实境显微镜可以提供各式各样的视觉回馈,包括文本、箭头、轮廓、热图和动画,而且可以运行多种类型的机器学习演算法以应对不同的任务,比如目标检测、量化和分类等。

为了示範扩增实境显微镜的功能,团队让其运行两种不同的癌症检测演算法:一种用于检测淋巴结标本中的乳腺癌转移,另一种用于检测前列腺切除术标本中的前列腺癌。这些演算法可以在 4-40x 的放大倍数下运行,并用绿色轮廓勾画出检测到

用AR显微镜圈出肿瘤!Google发表AI深度学习新平台
左图:扩增实境显微镜的原理概述。一台数位相机捕捉到与用户相同的视场 ,然后将图像传送给一个附加的计算单元,该单元能够运行即时推理的机器学习模型。随后推理结果被回馈到一个特製的 AR 萤幕,该显示萤幕与目镜内联,并将模型输出的结果与标本显示在同一平面上。右图:该图展示了平台原型被改造成典型临床级光学显微镜后的样子。

肿瘤的区域。这些轮廓可以帮助病理学家注意到感兴趣的区域,而不至于遗漏外观模糊的肿瘤细胞。

用AR显微镜圈出肿瘤!Google发表AI深度学习新平台
透过扩增实境显微镜观察到的视图。这些图像展示了 4x、10x、20x 和 40x 放大倍数下的淋巴结标本。

虽然这两个癌症检测模型并非用扩增实境显微镜直接捕获的图像进行训练,但它们表现非常出色,无需额外的训练。团队相信,假如直接用扩增实境显微镜获取的图像做进一步训练,这些演算法的表现还将继续提升。

他们最初都是用来自一种光学结构完全不同的完整标本扫描仪的图像训练,但在扩增实境显微镜平台上的表现一样非常出色,无需额外的再训练。例如,淋巴结转移检测模型在扩增实境显微镜上运行时曲线面积达到了 0.98,前列腺癌检测模型的曲线面积达到了 0.96,仅略低于 WSI 上得到的结果。

团队相信,这款扩增实境显微镜将为全球卫生事业产生重大影响,尤其是在发展中国家的传染病诊断方面——包括结核病和疟疾等。此外,在即将採用数位病理工作流程的医院,扩增实境显微镜也可以与数位工作流程结合使用。光学显微镜已经在很多产业已经证明其价值,但在病理学领域作用有限。团队相信扩增实境显微镜可以应用于医疗、生命科学研究和材料科学等众多领域。他们很高兴能继续探索这款扩增实境显微镜,帮助加速机器学习技术在世界各地产生积极影响。

上一篇: 下一篇: