基于深度学习的荧光图像三维虚拟重对焦

2021-02-09 13:49:25 浏览:754

文章名称:Three-dimensional virtual refocusing of fluorescence microscopy images using deep learning

发表期刊:Nature Methods

发表日期:2019年12月

1 背景

高通量荧光图像在生物学、生命科学等诸多领域有着相当重要的应用。而为了获取一张3D荧光图像,一种通用的方法是逐点逐层扫描激励源,然后将不同平面的成像组合起来形成3D图像。共焦显微镜(confocal microscope)、双光子显微镜(two-photon microscope)、选择性光片照明显微镜(light-sheet microscope, SMIP)等各类超高分辨率显微技术均是以上述方法为基础。但是这种扫描成像的方式制约了成像速度,降低了光通量。同时,尽管有大量优化扫描的方法,但是潜在的光毒性和光褪色依然难以解决。

2019年11月04日,来自加州大学洛杉矶分校的Yichen Wu、Yair Rivenson及其团队在Nature Methods发表了文章“Three-dimensional virtual refocusing of fluorescence microscopy images using deep learning”。他们提出了一种对二维荧光图像的虚拟重对焦方法,并将该方法命名为Deep-Z方法,结合深度神经网络利用单张二维荧光图像生成三维扫描图像。这种方法摒弃了传统的扫描方式,仅依赖二维图像生成三维信息,可以有效加快显微成像的速度,同时也避免了传统扫描法存在的漂移、畸变、散焦等问题。 

2 方法和结果

为了用一个深度神经网络实现虚拟重对焦功能,Deep-Z引入了一个数值传播矩阵(Digital propagation matrix, DPM),该矩阵记录了希望生成的虚拟对焦图像上的像素点到参考平面(输入图像)的距离。Deep-Z使用生成对抗网络(Generative Adversarial Neural Network, GAN)为深度学习网络,使用配对的不同对焦深度的荧光图像及其DPM作为训练集。图1展示了Deep-Z的实现流程:输入的荧光图像首先加上DPM,然后被送入训练完成的GAN网络即可生成对应DMP的虚拟重对焦图像。

图 1 Deep-Z的实现流程

利用Deep-Z的虚拟对焦效果如图2所示。该图展示了利用Deep-Z的3D成像效果和利用显微设备的实际3D成像的效果对比图。利用Deep-Z重对焦后,左侧荧光图中的神经元在不同深度上重新对焦或者失焦淡出。中间的图对ROI(Regin of interest)在不同深度的对焦结果进行比较,Depp-Z生成的图像和显微设备实际成像(Ground truth,GT)对观测结果没有显著影响。右侧的图计算了Deep-Z输入、输出图和GT之间的结构相似指数(Structural similarity index, SSIM)和均方根差(Root mean square error, r.m.s.e.),结果显示通过Deep-Z方法可以有效利用输入荧光图像进行虚拟重对焦。

图 2 利用Deep-Z生成的不同对焦深度的神经元核图(秀丽隐杆线虫(C.elegans))

为了进一步展示Deep-Z虚拟重对焦方法的性能,该研究使用分水岭分割法(Watershed Segmentation Algorithm)对荧光图像中的秀丽隐杆线虫(C.elegans)神经元进行分割。利用2D图像仅分割出95个神经元,利用虚拟重对焦获得的3D图像可以分割出148个神经元,而利用扫描获得的实际3D图像可以分割出146个神经元。也就是说,利用Deep-Z的虚拟重对焦技术可以更有效地和其它图像处理技术结合,提高图像的辅助处理能力。

3 展望

此外,该研究成果也展示了Deep-Z的其它应用场景,包括3D跟踪拍摄和处理、显微平面畸变的矫正(图3)和强大的跨平台应用能力。其中,为了验证跨平台应用能力,该研究将广视野荧光图像作为训练的输入,共焦显微荧光图像作为训练输出。实验结果证明,利用跨平台图像训练的Deep-Z+网络依然可以实现其设计功能。

图 3 利用Deep-Z的DPM进行显微平面畸变矫正

参考文献

Yichen Wu, et al. Three-dimensional virtual refocusing of fluorescence microscopy images using deep learning. Nature Methods. 2019, 16: 1323–1331

文献分享

作          者: 泮桥成像光电商城

出          处: https://www.ipanqiao.com/article/25

版          权:本文版权归泮桥成像光电商城所有

转          载:欢迎转载,但必须保留上述声明;必须在文章中给出原文链接;否则必究法律责任。

Copyright © 2019-2022 南京超维景生物科技有限公司 版权所有 www.ipanqiao.com苏ICP备20009590号-1
联系我们
立即做合同
微信客服
电话咨询

400-998-9826

17302548620

快速留言

泮桥成像光电商城专业人员会在24小时之内联系您

关闭 提交