文章名称：Three-dimensional virtual refocusing of fluorescence microscopy images using deep learning
发表期刊：Nature Methods
发表日期：2019年12月
1 背景
高通量荧光图像在生物学、生命科学等诸多领域有着相当重要的应用。而为了获取一张3D荧光图像，一种通用的方法是逐点逐层扫描激励源，然后将不同平面的成像组合起来形成3D图像。共焦显微镜（confocal microscope）、双光子显微镜（two-photon microscope）、选择性光片照明显微镜（light-sheet microscope, SMIP）等各类超高分辨率显微技术均是以上述方法为基础。但是这种扫描成像的方式制约了成像速度，降低了光通量。同时，尽管有大量优化扫描的方法，但是潜在的光毒性和光褪色依然难以解决。
2019年11月04日，来自加州大学洛杉矶分校的Yichen Wu、Yair Rivenson及其团队在Nature Methods发表了文章“Three-dimensional virtual refocusing of fluorescence microscopy images using deep learning”。他们提出了一种对二维荧光图像的虚拟重对焦方法，并将该方法命名为Deep-Z方法，结合深度神经网络利用单张二维荧光图像生成三维扫描图像。这种方法摒弃了传统的扫描方式，仅依赖二维图像生成三维信息，可以有效加快显微成像的速度，同时也避免了传统扫描法存在的漂移、畸变、散焦等问题。
2 方法和结果
为了用一个深度神经网络实现虚拟重对焦功能，Deep-Z引入了一个数值传播矩阵（Digital propagation matrix, DPM），该矩阵记录了希望生成的虚拟对焦图像上的像素点到参考平面（输入图像）的距离。Deep-Z使用生成对抗网络（Generative Adversarial Neural Network, GAN）为深度学习网络，使用配对的不同对焦深度的荧光图像及其DPM作为训练集。图1展示了Deep-Z的实现流程：输入的荧光图像首先加上DPM，然后被送入训练完成的GAN网络即可生成对应DMP的虚拟重对焦图像。
图 1 Deep-Z的实现流程
利用Deep-Z的虚拟对焦效果如图2所示。该图展示了利用Deep-Z的3D成像效果和利用显微设备的实际3D成像的效果对比图。利用Deep-Z重对焦后，左侧荧光图中的神经元在不同深度上重新对焦或者失焦淡出。中间的图对ROI（Regin of interest）在不同深度的对焦结果进行比较，Depp-Z生成的图像和显微设备实际成像（Ground truth，GT）对观测结果没有显著影响。右侧的图计算了Deep-Z输入、输出图和GT之间的结构相似指数（Structural similarity index, SSIM）和均方根差（Root mean square error, r.m.s.e.），结果显示通过Deep-Z方法可以有效利用输入荧光图像进行虚拟重对焦。
图 2 利用Deep-Z生成的不同对焦深度的神经元核图（秀丽隐杆线虫（C.elegans））
为了进一步展示Deep-Z虚拟重对焦方法的性能，该研究使用分水岭分割法（Watershed Segmentation Algorithm）对荧光图像中的秀丽隐杆线虫（C.elegans）神经元进行分割。利用2D图像仅分割出95个神经元，利用虚拟重对焦获得的3D图像可以分割出148个神经元，而利用扫描获得的实际3D图像可以分割出146个神经元。也就是说，利用Deep-Z的虚拟重对焦技术可以更有效地和其它图像处理技术结合，提高图像的辅助处理能力。
3 展望
此外，该研究成果也展示了Deep-Z的其它应用场景，包括3D跟踪拍摄和处理、显微平面畸变的矫正（图3）和强大的跨平台应用能力。其中，为了验证跨平台应用能力，该研究将广视野荧光图像作为训练的输入，共焦显微荧光图像作为训练输出。实验结果证明，利用跨平台图像训练的Deep-Z+网络依然可以实现其设计功能。
图 3 利用Deep-Z的DPM进行显微平面畸变矫正
参考文献
Yichen Wu, et al. Three-dimensional virtual refocusing of fluorescence microscopy images using deep learning. Nature Methods. 2019, 16: 1323–1331
