Retinal blood vessel segmentation using fully convolutional network with transfer learning
使用全卷积网络与迁移学习的视网膜血管分割
关键词：视网膜血管分割、深度学习、全卷积网络、迁移学习、预训练模型
摘要
本文提出了一种基于预训练全卷积网络的迁移学习监督方法。该方法将典型的视网膜血管分割问题从全尺寸图像分割简化为区域血管单元识别和结果合并。同时，该方法还采用了附加的无监督图像后处理技术，对最终结果进行了细化。在Drive、Stare、Chase DB1和HRF数据库上进行了大量的实验，这四个数据库的跨数据库测试的准确性是最先进的，这也显示了该方法的高鲁棒性。这一成功的结果不仅有助于视网膜血管的自动分割，而且支持了将深度学习技术应用于医学成像时迁移学习的有效性。
1.介绍
当没有足够的公开可用数据集从头开始训练网络时，迁移学习是一个完美的解决方案。通常，训练卷积神经网络需要大量的带标签的训练数据，这在医学领域中是很难实现的，因为在医学领域中，专家注释很昂贵，疾病也很少见。对于视网膜血管分割这样的任务，四个数据库的视网膜彩色图像总数为133张，远远不能满足全卷积网络的训练要求。然而，通过迁移学习，利用自然图像数据集预训练的卷积神经网络模型，如ImageNet (Russakovsky et al.， )，可以用于当前新的医疗任务。
有三个创新点最终使这项提议的工作获得成功。首先，该方法将典型的视网膜血管分割问题从全尺寸图像分割简化为区域血管元素识别。也就是说，血管像素要从一个区域识别到另一个区域，最后合并在一起。其次，由于这个问题的转移，使得训练数据可以从a hundred 扩充到 a hundred thousand，从而保证了深度网络训练的有效性。第三，对预处理的语义分割模型进行适当的微调，使区域分割任务变得更加容易。这种预先训练好的语义分割模型是AlexNet的全卷积版本，具有良好的像素对像素和端到端分割性能。
2.数据集和相关工作
2.1数据集
目前共有9个公开的视网膜血管数据库，其中Chase_DB1（视网膜图像分析）、Drive（Staal等人，）、HRF（Kohler等人，）、Stare（Stare项目，）数据库包含视网膜颜色图像和视网膜血管ground truth图像。由于血管分割的研究需要将血管基础真实性作为一个金标准，因此，其他5个数据库，如Diaretdb1 v2.1（Tomi等人，）、Messidor（Decenci_re等人，）、Review（al-Diri等人，）、Roc（Niemijer等人，）和Vicavr数据库，在本研究中没有使用。
大多数视网膜血管分割方法都是在DRIVE和STARE数据库上进行评估的，因为它们的质量都很好，而且至少已有的历史。CHASE_DB1和HRF数据库相对较新，但也具有良好的图像质量。这四个数据库将用于训练和测试所提出的监督方法。
2.2相关工作
根据Fraz在的调查（Fraz等，a），现有的二维视网膜图像视网膜分割技术可归纳为六类，即（i）监督模式识别，（ii）数学形态学 ，（iii）匹配滤波，（iv）血管跟踪，（v）基于模型的方法和（vi）并行/硬件方法。 如今，由于混合方法将几种不同类别的方法结合在一起，由于其卓越的性能而越来越受欢迎，因此很难将其分类为特定的组。 因此，在这些年来更容易接受的另一种分类方式中，现有的作品可以分为两大类：监督和非监督方法。
2.2.1 监督方法
监督方法利用提取的特征向量，即标记的训练数据，训练分类器，对视网膜彩色图像中的视网膜血管和非血管像素进行自动分类。该算法将在训练数据集的基础上学习一套血管提取规则。标记训练数据集在监督方法中非常重要，因为血管分割的知识是直接从眼科医生手工分割的图像中获得的。因此，在单数据库测试中，有监督的方法的性能通常要优于无监督的方法。与监督方法相关的文献引用最多的是Staal et al. ()， Soares et al. ()， Ricci and Perfetti ()， Lupasscu et al. ()， Marin et al.()。Staal等()利用knn分类器和序列正向特征选择对特征向量进行分类。Soares等人()的工作用灰度强度和二维Gabor小波变换组成了特征向量。Lupasscu等人()甚至基于局部强度结构、空间特性和多尺度几何构造了41维特征向量。Marin等人()的工作将神经网络应用于像素分类，并计算出一个7维特征向量。Ricci和Perfetti()的工作利用了线算子和支持向量机，在单数据库测试中取得了上述工作中最高的精度。然而，在跨数据库测试中，它的准确性显著下降。
近5年来，随着计算机硬件的发展和卷积神经网络技术的成熟，深度学习已成为一般数据分析的发展趋势，并被称为麻省理工学院技术评论的十大突破性技术之一（深度学习ING）。一些作品在视网膜血管分割中使用了深度学习技术，取得了令人惊讶的好结果（Wang等人，；Liskowski和Krawiec，；Fu等人，；Soomro等人，；Li等人，）。王等人的工作（）结合了两个高级分类器-使用卷积神经网络作为可训练的层次特征抽取器，使用随机森林作为可训练的分类器。Liskowski和Krawiec（）的工作还应用了卷积神经网络，通过大量增强和预处理图像进行训练，这些图像具有全局对比度归一化、零相位白化、几何变换和伽马校正。傅等人的工作。（）利用具有强大诱导能力的宽而深的神经网络，将分割任务重新定位为视网膜图像到血管图的跨模态数据转换问题。Soomro等人的工作。（）以提高灵敏度为重点，提出了一个全卷积的神经网络，以及预处理和后处理步骤，即使在低对比度情况下也能检测到细小血管。
2.2.2 无监督方法
无监督分类方法的目的是直接从视网膜彩色图像中寻找视网膜血管的固有模式，并判断像素是血管的一部分还是非血管。与监督方法不同，无监督方法不需要训练数据和训练过程，而且通常具有(不一定)更高的鲁棒性和更快的执行速度。如前所述，无监督方法可以进一步分为四种:数学形态学、匹配滤波、血管跟踪和基于模型的方法。
数学形态学包含了一套图像处理技术，是图像分割中最著名的方法之一。它提取有用的图像组件，同时平滑其余区域。形态学操作具有速度快、抗噪声等优点，可以通过对灰度图像或二值图像应用结构化元素来识别特征、边界、骨架和凸壳等特定形状(Mendonca和Campilho, ;Fraz等，b, c;Abdurrazaq等，)。
匹配滤波技术通常将2-D核（或结构元素）卷积用于血管交叉轮廓识别（通常是高斯或高斯导数轮廓）。 内核被旋转到许多不同的方向，以在一些未知的位置和方向上对图像中的特征进行建模，并且匹配的滤波器响应指示该特征的存在。 这些技术对于检测血管中心线非常有效（Mendonca和Campilho，; Sofka和Stewart，; Fraz等，c; Azzopardi等，）。
在大多数情况下，血管跟踪算法与形态算子的匹配滤波器结合使用更为有效，如Sofka和Stewart（）和Xu和Luo（）的作品。跟踪血管是指在局部信息的引导下跟踪血管中心线，寻找最符合血管剖面模型的路径，通过路径不仅可以精确地提取中心线，还可以精确地提取每个血管的宽度。
基于模型的方法，如Lam等人工作中的血管轮廓模型。（）和赵等人的无限周边活动轮廓模型。（），采用明确的血管模型提取视网膜血管，设计用于同时处理正常和病理性视网膜，并同时处理明暗病变。其他一些使用可变形模型的方法，如参数模型和几何模型都不如前者有效。
3.提出的视网膜血管分割方案
提出的视网膜血管分割方案的实现受到迁移学习的启发，为充分利用全卷积网络完成视网膜血管分割任务提供了理论支持。如前所述，本工作利用了AlexNet的全卷积版本，其原始功能是逐像素和端到端进行语义分割。语义分割将图像中的每个像素用对象类(如car、person、cat)和另外一个背景类来标记，这是机器可视化和理解图像的一种非常有效的方法。由于视网膜血管分割最困难的部分是区分血管和周围所有组织/病变，使用语义分割当然有助于消除这些噪声。
图2所示。提出的视网膜血管分割系统功能框图。
图2给出了该分割系统的功能框图，系统分为三个阶段。在处理之前，从数据库收集的数据将首先分配给训练组和测试组，这将在第4.1.1节中讨论。在训练和测试阶段，将对原始训练和测试数据集进行预处理，以增强图像对比度。接下来，将每个数据集中的每个图像分割成50×50的图像切片，这就是数据扩充的过程。数据扩充程序是该系统的核心，不仅可以大大增加数据集的数量，而且可以简化从全局血管树分割到区域血管部分分割的血管分割任务。图像切片准备完成后，利用训练数据对预训练的全卷积网络Alexnet进行微调。然后，测试数据将被送入调谐网络，以测试调谐网络的性能。网络生成的结果将会被收集。在最后一个阶段，收集到的结果切片将被合并成全尺寸，并用去噪技术进行后处理。以下章节将全面讨论三个阶段和每个处理模块
3.1预处理
通过在RGB中重新分配每个通道的颜色强度来提高图像的整体质量。
为了提高图像质量，主要思想是增强视场的对比度。因此，首先，所有图像都必须通过简单地使用图像的红色通道来定位其黑色区域并重新填充视图字段的平均颜色值，从而删除视图字段外的“黑环”区域。更具体地说，将“黑环”应用到红色通道滤波器后，可以使用OTSU的阈值轻松地提取“黑环”。另一方面，平均颜色值是分别来自原始图像的红色、绿色和蓝色通道的平均强度值。这样，视网膜图像的背景几乎是平衡的（见图4（b））。然而，在视场内部和填充区域之间存在着明显的不连续性。因此，高斯模糊将特别应用于替换区域，以避免在随后的对比度增强中出现边缘效应，高斯滤波器的σ设置为7。平滑的边缘和平衡良好的背景，对比度增强将对突出眼底血管起到良好的效果（见图4（c））。最后，在对比度增强之后，一个完全黑色的背景（其强度值全部设置为0）将被放回“黑环”原来的位置（见图4（d））。最后一步是必要的，以避免增加训练的复杂性。图4显示了视网膜图像预处理的整个过程。
图4所示。预处理阶段:(a)原始彩色图像，(b)图像经过“黑环”替换后，©图像经过高斯平滑后(仅应用于外部区域)，(d)预处理后图像的最终外观。(要解释文本中对颜色的引用，请参考本文的web版本。)
3.2数据扩充
在图像深度学习中，通常采用翻转、旋转、缩放和裁剪等数据增强过程来提高训练性能，特别是在数据集不足的情况下。在这个建议的实现中使用了图像裁剪策略，其中一个全尺寸的图像将被裁剪成多个图像切片。然而，正如第1节所介绍的，裁剪视网膜彩色图像并放大训练数据集的大小并不是初衷。事实上，全卷积AlexNet在区域血管部分分割中表现得最好，这需要裁剪图像来准备训练数据。因此，这种图像裁剪的过程恰好有利于增加数据集的大小。
在数据扩充过程中，每个经过预处理的全尺寸图像都会被裁剪成50×50的图像切片，每个图像切片与相邻的图像切片有一半重叠。然后将50×50图像切片放大为500×500，以放大细节。放大后的500×500的patch尺寸不能太大或太小。因为如果训练用的5000×5000大小的patch要更多的池化层和参数，这必然会降低训练效率，而另一方面，50×50大小的patch会导致瓶颈层的特征图太小而不能提供足够的信息来确定血管的存在。在实验中，500×500的尺寸是正确的，在训练阶段的表现略好于400×400和600×600的尺寸。
图5给出了该数据增强过程的总体思路。最终，全尺寸的ground truth图像也会按照同样的规则分成50×50的图像切片。
图5所示。一个全尺寸的图像将被分成多个50×50的图像切片，然后调整成500×500的大小。
这样，视网膜血管图像的总数量从133张全尺寸图像增加到84843张图像切片。在这种情况下，训练的目的是生成一个全卷积的网络，用于从视网膜彩色图像的一个小区域标记血管像素。从技术上讲，这使得分割任务更容易，因为出现在视网膜颜色小区域内的特征就像红色和管状物体一样简单。图6显示了一对图像切片及其ground truth图像。
图6所示。500×500视网膜彩色图像切片(第一行)及其对应的ground truth图像(第二行)。
3.3用于训练和测试的网络架构
图7为测试过程的一些输入输出图像样本。这些结果将恢复到完整的大小，并在最后一步进行后处理。
图7所示。测试过程的输入(第一行)和输出(第二行)图像切片。
图8是应用于视网膜血管分割任务的全卷积AlexNet的架构，该框架在Shelhamer等人()的工作中定义，其中结合了特征层次结构的各层，细化了输出的空间精度。输入为500×500 RGB视网膜彩色图像切片，输出为500×500二进制图像。
图8所示。全卷积AlexNet视网膜血管分割的结构。
网络中总共有8个卷积层和1个反卷积层。每个卷积层输出BLOBs (binary large
object)，在图8中描绘为白色块，是下一层的输入，并且用它们的高度×宽度×深度标记。第一个Convolution层的内核大小为11，步长和填充值为4和100，而第二层的内核大小为5，其步幅和填充值为1和2.这两个层各后都是最大池化层和局部响应规范化层。池化层的内核大小为3，步幅值为2，标准化层的局部大小为5.第三，第四和第五卷积层具有相同的内核大小3，以及相同的步幅和填充值1.另一个最大池化层，与前一个相同，跟随第五个卷积层。第六，第七和第八卷积层不进行填充，它们的步幅值为1.它们的内核大小分别为6,1,1。对于最后一个反卷积层，其内核大小为63，步幅为32。
3.4合并和重叠
如前所述，训练数据将用于对这个预训练网络进行微调，训练后的网络将用于生成分割结果。如图7所示，这些结果块必须恢复为全尺寸的二值分割结果。由于每个分割片都有一个参考编号来识别其所属的图像以及所属图像的准确位置，因此很容易合并结果。当相邻切片之间包含冲突像素的重叠区域时，系统执行或操作来确定像素是否属于血管类。图9©为小图像切片合并后的全尺寸结果。全尺寸的结果将进一步处理，以更平滑和更准确。
图9所示。全尺寸结果的比较:(a)原始彩色图像，(b)ground truth图像，©合并重叠后的图像，(d)后处理后的最终结果。
3.5后处理
由于视网膜血管的语义分割结果比在ground truth图像中的血管更宽，合并重叠后会产生噪声。因此，后处理步骤是为了稍微提高精度和更好的外观。
为了恢复血管的实际宽度，在合并和重叠后，图像将应用一个9×9的小阈值窗口，如图9（c）所示。此窗口使用血管边缘的像素。当检测到边缘像素时，该像素成为9×9窗口的中心，窗口区域将转换为灰度。接下来，基于窗口的灰度分布，将使用OTSU方法生成阈值。如果中心像素的强度低于该阈值，则该中心像素将被视为血管，否则，该像素将被归类为背景。
图9(d)为后处理后的最终效果图。与图9©中后处理前的图像相比，消除了噪声，血管宽度更接近于图9(b)中的ground truth情况。
4.结果和表现评估
4.1实验设置
4.1.1数据预处理
单数据库测试和跨数据库测试都是为了全面客观地评估其性能。单数据库测试只涉及DRIVE和STARE数据库，这两个数据库中的60张全尺寸图像将首先扩充为33,680张图像切片，其中50%(16,840张)随机选择作为训练数据。然后，所有的33,680张图像切片将被用于测试和处理成全尺寸的性能评估。跨数据库测试涉及所有四个数据库，它们的全尺寸图像也必须在开始时扩展为图像切片。接下来，将有四组，每组由三个培训数据库和另一个测试数据库组成。表1显示了跨数据库测试的训练和测试策略。
4.1.2执行环境设置
该方法的训练过程是在一台Linux服务器上进行的，该服务器使用NVIDIA Tesla K40c GPU、Intel Xeon CPU E5- 2630 v2 (2.60 GHz)和32gb 1333 MHz DDR3 RAM。全卷积网络的训练是在一个名为DIGITS的交互式深度学习GPU训练系统上进行的，该系统是英伟达公司开发的一个深度学习GPU训练系统。
在这项工作中有四组训练过程。每个训练过程有30个训练阶段。因为迁移学习是基于一个预先训练的模型，所以我们设置的初始学习率为0.0001，每次下降时将除以10。我们使用随机梯度下降法。
框架用的是Caffe，测试程序用的python写的。
4.2性能测量
衡量指标：准确性、敏感性和特异性。表2和表3中给出的准确度，灵敏度和特异性均以平均值x和标准偏差σ表示，因为它们是基于每个视网膜图像分割结果计算的。此外，用于衡量二元分类器性能的ROC曲线(AUC)下的面积也见表2和表3。
对于单数据库测试，表2给出了在DRIVE、STARE、CHASE_DB1和HRF数据库上提出的监督实现的准确性、敏感性、特异性和AUC性能。很明显，这四个数据库的准确率都很高，尤其是STARE数据库。同时，CHASE_DB1的敏感性最高，STARE数据库的特异性也最高。由于STARE数据库中含有一些非常不友好的视网膜图像，如对比度非常差的图像、血管病变的图像等，所以STARE数据库的标准差总体上是其他三个数据库的2倍左右。因此，那些复杂的视网膜图像的结果比平均值差得多，这增加了标准偏差。 这将在4.4节中进一步介绍和讨论。 在所有四个数据库中，所提出的方法保持高AUC值，其代表其强分类能力。 这四个单数据库测试的ROC曲线如图10所示。
图10所示。四种数据库(单数据库测试)的ROC曲线。
图11分别显示了DRIVE和STARE数据库的两组比较结果。图11©和(f)中的测试结果非常接近，但仅略大于图11(b)和(e)中的ground truth。
图11所示。单数据库测试结果的对比图，DRIVE(第一行)和STARE(第二行)数据库:(a)、(d)为原始彩色图像;(b)、(e)为ground truth; ©、(f)为单数据库测试结果。
为了进一步评估系统的稳健性，我们亦对这四个资料库进行跨数据库测试。表3分别显示了DRIVE、STARE、CHASE_DB1和HRF数据库的四组结果。数据库的每个结果都是由其他三个数据库所训练的网络生成的(前表1已经介绍了这种训练策略)。
从表3中可以看出，除HRF外的所有四个数据库的准确性都比表2中单数据库测试结果略有下降。然而，HRF的敏感性已经下降。但是，与其他工作相比，这个跨数据库的结果仍然是优秀和稳定的，这将在后面的4.3节中讨论。这些跨数据库测试在四个数据库上的ROC曲线如图12所示。图13为DRIVE和STARE数据库的两组结果对比图，图14为DRIVE和STARE数据库的单数据库和跨数据库结果对比图。图13©中来自DRIVE数据库的cross - database结果与图13(b)中的ground truth image相比，差异不大。同样，通过观察图14(b)和图14©，虽然图14©中的结果是由其他三个不敬数据库训练的全卷积网络生成的，但是单数据库和跨数据库结果的差异很小。但是，图14(e)中STARE数据库的跨数据库结果中间有一个噪声块。这是由于训练数据类型不足造成的。从图13(d)的原始彩色图像中可以看出，中间有一块黄色的病灶。这样的医疗案例非常罕见，除了STARE之外，其他数据库中从来没有出现过，因此，全卷积网络会犯错误，因为它没有受过这种案例的训练。除此之外，其余的血管结构与图14(d)中的ground truth和图14(e)中的单数据库结果比较接近。同时，所提供的准确度、灵敏度和特异性的标准差较小，说明所提方法的准确度较高，具有较强的鲁棒性。
图12所示。四种数据库(跨数据库测试)的ROC曲线。
图13所示。跨数据库测试结果的比较。DRIVE(第一行)和STARE(第二行)数据库:(a)、(d)为原始彩色图像;(b)、(e)为ground truth;©、(f)为跨数据库测试结果。
图14所示。DRIVE(第一行)和STARE(第二行)数据库中图像的单数据库结果与跨数据库结果的比较:(a)、(d)为ground truth;(b)、(e)为单数据库测试结果;©、(f)为跨数据库测试结果。
4.3性能对比分析
本节将介绍单数据库和跨数据库测试中的性能比较，以及与DRIVE、STARE和CHASE_DB1数据库相关的最新研究成果。由于其他人的工作没有发现与HRF数据库相关的结果，因此将省略HRF数据库的性能比较。本节介绍三个表。在每个表中，结果被分为跨数据库测试和单数据库测试。由于无监督方法根本没有培训过程，所以它们不一定有单个或跨数据库的测试。为了比较有监督方法和无监督方法的性能，可以将无监督方法的结果与有监督方法的跨数据库测试结果进行比较。此外，不同的作品被分为三组，分别是无监督，监督，监督与深度学习。The best values of the results from each group are marked with ♢ and †.
表4给出了DRIVE数据库的性能比较。对于跨数据库测试，蒋等人的工作（）在无人监督和监督小组中的准确性最高，仅比我们的工作高出0.0004。然而，有了这个微小的差异，我们可以说蒋等人的工作。（）我们的工作在准确性方面保持领先。同时，在准确性和特异性方面，我们的工作在受监督小组中表现最好，与最先进的作品相比，我们提出的工作实现了0.0107更好的准确性和0.0022更好的特异性。与蒋等人的工作相比，我们工作的敏感性不足。（），由于预先训练的语义分割的性质对小对象不敏感，而驱动器数据库的手动标记的ground truth包含丰富的毛细血管。然而，我们的工作的特殊性胜过两组中的所有其他工作，这意味着最高的抗噪性。我们的工作在准确性方面表现出色，是驱动器交叉数据库测试中的佼佼者之一。对于单数据库测试，将与仅监督方法进行比较。我们的工作的准确性和特异性保持在第一位，我们的工作达到了0.0029更好的准确性和0.0009更好的特异性。尽管王等人（）和Li等人（）的敏感性比我们高，但精度比我们低得多。在AUC方面，我们提出的设计也保持了两组中的最高值。总的来说，在单数据库驱动测试中，我们的工作仍然优于其他人。
表5给出了STAER数据库的性能比较，表明该数据库的性能优于其他所有数据库。在跨数据库测试中，该方法的准确度（高出0.0074）和灵敏度（高出0.0020）均表现最佳，其特异性略低于Li等人的工作（）。事实上，由于STEAR数据库是最复杂的数据库，其中包含8种视网膜疾病，其中3种图像甚至被散焦，如果不经过训练，完全卷积网络将无法完全处理这些图像。这也是深度学习的本质。然而，在单数据库测试中，我们的工作在每三个方面都优于其他所有测试，特别是准确度高0.0088，敏感性高0.0248，特异性高0.0002。特别是，我们的作品在准确性上的优势要比其他作品优越得多。此外，对于单数据库测试和跨数据库测试，该方法保持了最高的AUC值。因此，我们的工作无疑是最先进的凝视数据库。
表6给出了Chase_DB1数据库的性能比较。如前所述，Chase_DB1数据库不像Drive和Stare数据库那样受欢迎，因此在该数据库上执行跨数据库测试的相关工作较少。对于跨数据库测试，所提出的工作的准确性优于所有其他工作，精确度高出0.0134。尽管张等人的工作很敏感性（）比我们的高，但其准确性低得多，使得他的工作竞争力低得多。对于单数据库测试，Li等人的工作（）似乎威胁到了所提出方法的主导地位，因为其敏感性和特异性高于提出的方法，且其在单数据库测试中的准确性略低。然而，当比较其在跨数据库测试中的准确性时，Li等人的工作（）显示其鲁棒性不足，这也反映了我们工作的总体表现。此外，在两组中，所提出的方法具有相对较高的AUC值。
4.4讨论
前面的章节已经说明了为什么该方法能够在视网膜血管分割任务中表现良好。本节将讨论为什么我们工作的结果不能与数据库提供的ground truth完全相同。
图15(a) 和c(来自STARE数据库)给出了原始视网膜图像，跨数据库检测的分割结果，以及对应的ground truth图像。正如前文4.2节所述，STARE数据库中包含的图像血管对比度较差，血管因疾病而复杂，这幅图像的血管分割性能实际上是所有图像中最差的。事实上，造成这种情况的原因并不是由于所提出的方法不能检测血管，而是所提出的分割方法对血管和类血管病变非常敏感，甚至提取出了ground truth中没有包含的最细的血管。如图15(d) (f)所示，对部分图像片段进行裁剪和放大，以呈现更多的细节。与图15(e)和(f)相比，图15(e)含有更多的血管，这些血管在图15(d)中几乎看不见，但不包含在ground truth中(图15(f))。因此，当与图15(b)和©比较时，就可以明显看出是什么导致了性能下降。同样，对于其他因疾病而复杂的视网膜图像，疾病并没有影响血管提取功能，但人为标注的ground truth的局限性造成了问题。
图15所示。与合并疾病的视网膜图像的详细比较:(a)原始视网膜图像;(b)跨数据库测试结果;©ground truth;(d) - (f)是(a) - ©的部分详情。
为了更好地证明所提方法的性能，图16给出了在非常低对比度下与来自STARE数据库的视网膜图像的详细对比。从图16(a)可以看出，图像几乎是散焦拍摄的，血管和眼底颜色接近。然而，与图16(b)和©相比，除了那些难以观察到的散焦毛细血管外，几乎所有的血管都被提取出来了。仔细看图16(d) (f)，原始图像对比度很低，但分割结果几乎完全相同。注意，这是STARE跨数据库测试的结果，如果网络可以在低对比度下训练更多的图像，性能肯定会更好。
图16所示。非常低对比度视网膜图像的细节对比:(a)原始视网膜图像;(b)跨数据库测试结果;©ground truth;(d) - (f)是(a) - ©的部分详情。
5.总结
本文提出了一种利用全卷积网络和迁移学习从视网膜彩色图像中分割视网膜血管的监督方法。该方法对典型的视网膜血管分割问题进行了创新性的简化，将其转化为区域语义血管元素分割任务，较好地扩充了训练数据。最后，该方法的跨数据库结果在各个方面都优于其他方法。特别地，该方法的精度一般比其他相关工作高出1- 2%，证明了该工作是最先进的。
该工作的成功证实了医学图像分析中一个普遍存在的问题:使用预先训练好的深卷积神经网络，是否可以消除从无到有训练深卷积神经网络的需要？经过半年的大量训练和测试实验证明，通过任务的适当转换，迁移学习和预训练的深度卷积神经网络对于医学图像分析是非常有用和实用的。
迁移学习是一种有效的解决方案，当没有足够的公开可用的ground truth和专家解释。卷积神经网络模型可以从不同的医学领域，甚至是自然图像数据集进行预处理，用于新的医学任务。随着越来越多优秀的深度卷积神经网络的出现，可以预见，研究人员将从逐渐成熟的转移学习中受益。
