科技网

当前位置: 首页 >手机

深度变革的开始深度学习将如何改变医疗成像领域

手机
来源: 作者: 2019-05-17 08:39:10

导语

深度学习在数据分析方面正在出现持续增长的趋势,并被称为2013年的10项突破性技术之一。它是对神经网络的改进,包含更多的计算层,从而能够在数据中进行更高层次的抽象和预测。到目前为止,它正成为通用成像和计算机视觉领域领先的机器学习工具。

特别地,卷积神经网络(CNN)已经被证明是可用于许多计算机视觉任务的有益工具。深度卷积神经网络(Deep CNN)可以自动学习从原始数据(例如,图象)获得的中级和高级的抽象概念。最近的结果表明,从CNN提取的通用描写符(generic descriptor)在自然图像的对象识别和定位中非常有效。世界各地的医学图像分析组正在迅速进入该领域,并将CNN和其他的深度学习方法应用于广泛的运用当中。许多不错的成果正在涌现。

在医学成像领域,疾病的准确诊断或评估取决于图像收集和图象解译。近年来,随着技术的发展,装备能以更快地速率和更强大的分辨率来收集数据,这大大提高了图象采集的质量。然而,计算机技术对图象解译的改进,才刚刚开始。

目前,大部分的医学图像解译都由医生来进行。可是,人类进行的图象解译因为其主观性、不同解读者的较大变化和产生的疲劳,往往是片面的。许多诊断任务需要初始搜索进程来检测异常,并且量化丈量值和时间的变化。计算机化的工具,尤其是图像分析和机器学习,对改良诊断起到关键作用。他们通过帮助辨认需要治疗的部位来支持专家工作流程。在这些工具当中,深度学习被迅速的证实了其作为基础的优越性,能够提高准确性。它还开辟了数据分析的新领域,并以一种前所未有的速度不断发展。

A.历史上的网络

神经网络和深度学习背后的基本思想已存在了几十年了。它们通常只有几个层。反向传播算法的出现,使得神经网络的性能有了显著的提升。但是,性能仍然不够。其他分类器逐渐发展开来,包括决策树、boosting和支持向量机。其中每一个都已经应用于医学图象分析,特别是用于检测异常,而且他们也在分割(segmentation)等其它一些相关领域得到了运用。尽管取得了这样的发展,相对高的假阳性率仍然很普遍。

早在1996年在Sahiner等人的工作中,CNN(卷积神经网络)就被应用在医学图象处理上。在这项工作中,从乳腺X光照片中提取包括活检证实的肿块或者正常组织的ROIs(Region of Interests)。CNN包括一个输入层、两个隐含层和一个输出层和使用的反向传播。在这个前GPU时代,训练时间被描述为「计算密集型」,但是却没有给出具体的时间。1993年,CNN被用于肺结节检测。1995年,CNN被用于检测乳腺X光照片上的微钙化。

一个典型的用于图象处理的CNN,其结构包含一连串卷积滤波器的层,夹杂着一连串数据压缩或池化层。卷积滤波器(convolution filter)处理输入图像的1小块。类似于人脑的低级像素处理,卷积滤波器能够检测相干度高的图象特点,比如可以代表明显边缘的线或圆(例如用于器官检测)或圆形(比如用于圆形的物体,像结肠息肉),然后是高阶特点比如局部或是全局形状和纹理。CNN的输出通常是一个或多个几率或图像对应的种别的标签。卷积滤波器能够直接从训练的数据当中学习。这正是人们所需要的,由于它下降了对很花费时间的手动标记特点的需求。如果不用卷积滤波器,那末在预处理图象阶段,针对特定运用设计的滤波器和一些需要计算的特征是离不开这些人工特点的。

CNN是高度并行化的算法。与单独的的CPU处理相比,使用CNN的实用性一大部分是来源于图象处理单元(GPU)促进的巨大的速度提升(大约40倍)。早期描写GPU对训练的CNN和其他机器学习技术价值的论文是在2006年发表的。在医学图象处理中,GPU首先被引入用于分割、重建和配准,然后才是机器学习。有趣的是,虽然Eklund et al.在他们的2013年的论文中广泛谈论卷积,但卷积神经网络和深度学习一点也没有被提及。这突出了深度学习的重大改革对医学图象处理研究的迅速调整有多迅猛。

B.今天的网络

由于CNN的新变体的开发和针对现代GPU优化的高效并行求解器(parallel solver)的出现,深度神经网络最近已经取得了相当大的商业利益。CNN的强大得益于它的深层架构,这让它在不同抽象级别上,提取一系列辨别特征。从头开始训练一个深层的卷积神经网络是一个巨大的挑战。首先,CNN需要很大数量的标记数据,而这这在医学领域很难达到。这是由于请专家来进行标记是很昂贵的,并且疾病(比如,病变)的样本十分稀少。其次,训练深度CNN需要大量的计算和存储器资源,没有它们的话,训练的过程会非常耗时。第三,训练一个深度CNN经常由于过拟合和收敛问题而变得复杂化,通常需要对网络的学习参数或架构重复调剂以确保所有的层都以相当的速度学习。鉴于以上的困难,一些被称为「迁移学习(transfer learning)」和「微调(fine-tuning)」的新的学习方案被提出来提供解决方案,并且被愈来愈多的人接受。这些将在II-C节进一步讨论。

C.医学领域的网络

领域深度学习(domain Deep learning)方法当应用到大型训练集时最为有效,但在医学领域,并不总能获得大的数据集。因此,我们面临着一系列重大的挑战,这包括,(a)深度神经网络可以被有效地用在医学任务上吗?(b)从一般意象到医学领域的转移学习是否相关?(c)我们是否可以单独依靠学习的特点,还是可以将它们与人工制作的功能结合起来完成任务?这种关于医学成像的深度学习的IEEE成像(IEEE-TMI)特殊问题集中在机器学习这个新时期的进展和它在医学图象处理领域的角色。这个问题介绍了最近CNN和其他深度学习运用在医疗任务方面的成就。它包含来自世界各地的各种调查员的50份论文中挑选出来的18篇文章,这对于IEEE的特殊问题是一个非常高的数字,并且这是在从论文征集公布到提交截止日期的时长比以往要短的时间内实现的。论文集中在从检测到种别化(例如,病变检测、图像分割、形状建模、图像配准)等这些大量传统的任务,也有一些开放的新颖的应用领域。其中还包括了一些重点在网络探索的工作,并给出了对不同的任务、参数、训练集应该如何选择架构的看法。

期刊论文和主题概述

A.病变检测

电脑辅助检测(CAD/Computer-aided detection)是一个完善的医学图像分析领域,非常合适深度学习。在CAD的标准方法[11]中,通过监督方法或经典的图象处理技术(比如滤波和数学形态学(mathematical morphology))检测病变。候选病变通常被分割出来,而且通常由大量的手动设计的特征来描述。分类器将特征向量与对应的候选部位是实际病变的概率做映射。使用深度学习而不是手动设计的特点的直接方法是训练在以候选病变为中心的一组图像图像数据上操作的CNN。本期的几篇文章都使用了这种方法。为了获取3D胸部CT扫描的肺结节的候选以及提取以这些候选部位为中心的9个不同的方向的2D贴片,Setio et al.[12]结合了先前开发的三种候选探测器。结合不同的CNN来对每个候选者进行分类。报告显示,与先前公布的用于相同任务的经典CAD的结果相比,这种方法取得了微小的进步。

Roth et al.[13]将CNN用于改进3个现有的CAD系统用于检测结肠镜CT中结肠瘜肉的存在,以及利用体CT,检测硬化脊柱转移和扩大淋巴结。他们也用了先前开发的候选检测器和3个正交方向的2D贴片,以及多达100个随机旋转视图。随机旋转的「2.5D」视图是一种从原始3D数据分解图象表示的方法。随后通过整合在2.5D视图上的CNN的预测结果来取得额外的准确度提升。对所有使用CNN的3个CAD系统,病变检测的灵敏度改良了13–34%,这表明该方法是通用的可调整的。若使用非深度学习分类器(例如支持向量机族),几近不可能达到这类程度的改进。

Dou et al.[14]从磁敏性加权磁共振成像扫描中检测出脑微出血。他们使用3D CNN并且用CNN替换原始的候选检测阶段,提出了两阶段方法。报告提出,在相同的数据集上重新实行、训练和测试,他们的3D CNN的结果与现有文献中的其他经典的方法和2D CNN方法相比,有了改进。

Sirinukunwattana et al.[15]在组织病理学图象中检测和分类细胞核。他们使用一个CNN,使用一个小块作为输入,而不仅仅是预测小块的中心像素是否是细胞核,他们对输出进行建模,每一个细胞核中心会产生一个峰值而其他地方较为平坦。这种空间约束的CNN与在测试阶段中的重叠贴片的融合相结合,产生了比先前基于CNN和基于经典特点方法的先前提出的技术更好的结果。

Anthimopoulos et al.[16]侧重于利用2D胸部CT扫描图象来探测间质性肺病的模式。他们是研究这个问题的三个组之一(其他两个是Shin et al.[17]和van Tulder et al.[18])使用来自[19]的公然数据集。他们训练CNN,让其能辨别32×32个像素的小块属于7个类中的哪一个。报告显示,他们的结果达到了比以前三个使用手动设计特点的方法更高的精度。

在研究此类问题的其他几篇文章中,病变检测也是一个感兴趣的话题,但是这些文章的侧重点在于更广泛或专注于特定的方法问题。这些论文将在下面扼要谈论。

B.分割和形状建模

对于一个由2891个心脏超声检查构成的大数据集,Ghesu等人结合了深度学习和边缘区空间学习来做物体探测和分割。「大参数空间的有效探索」与一种增强深度网络中的稀疏性的方法的结合增强了计算效率,且该方法相较于同一个小组发布的另一个参考方法将平均分割误差减少了13.5%。

有三组研究人员关注于大脑结构分割或脑病变。多发性硬化症脑病变分割的磁共振成像(MRI)问题由Brosch等人解决。他们开发了一种3D深度卷积编码网络,这类网络能够结合相互关联的卷积与反卷积过程。卷积进程学习到更高层次的功能,而反卷积进程预测出体素水平分割。他们将这种网络应用到两个公用数据集和一个临床试验数据集中,并将自己的方法与5种公用方法进行了比较。报告称,称该方法的表现「可与当前最先进的方法相媲美」。

Pereira等人研究了磁共振成像中的脑肿瘤分割。[22]。他们使用了小的内核、更深层的架构、灰度归一化和数据增强。不同卷积神经网络架构被用于低级别和高级别的肿瘤。该方法分别对肿瘤的增强部份和核心部份进行了分割。他们在2013年的数据集公共挑战赛上排名第一,并在2015年的现场挑战赛上排名第二。

对于大脑结构分割问题,Moeskops等人的一项研究显示,卷积神经网络在涵盖了从早产儿到老年人的五个不同年龄组病人的数据集上表现出色。一种多尺度的方法被用于实现其可靠性。该方法在8种组织种别中取得了良好的效果,其中5个数据集的Dice相似性系数平均值为0.82至0.91。

C.网络探究

1)数据维度问题——二维vs三维:我们看到的大部分数据研究采用的是二维分析。二维向三维的过渡常常遭到质疑——它是否会是性能大幅提升的一个关键所在。数据增强过程中存在一些变化,包括2.5维。例如在Roth等人的研究中,轴位、冠状位和矢状位图像以候选的结肠息肉或淋巴结中的体素为中心,并被输入到cuda-convnet卷积神经网络中,该网络包括了通常用于表示一张自然光图象的红、绿、蓝三色通道。三维卷积神经网络被Brosch和Dou等人明确用在了这个问题上。

2)学习方法论——无监督型vs监督型:当我们看网络文献时会明显发现,大部分研究为了实现分类而专注于监督型卷积神经网络。这类网络对许多应用来说非常重要,包括检测、分割和标记。然而仍有一些研究专注于无监督型方案,它们大多在图象编码、高效图像表征计划和作为深入监督型方案的一种预处理步骤方面被证明是有用的。无监督型表征学习方法如受限波尔兹曼机(Restricted Boltzmann Machines/RBM)可能会超出标准的滤波器组,因为它们直接从训练数据中学习特征描述。RBM由一个生成型学习目标来训练;这使得网络可以从未标记的数据中学习表征,但不一定会产生最好分类特点。Van Tulder等人进行了一项调查研究,它结合了卷积分类RBM中生成型和判别型学习目标的优点。该研究表明学习任务的组合情势优于纯粹的辨别型或生成型学习。

3)训练数据注意事项:卷积神经网络实现了对数据驱动型、极具表征性、分层递阶的图像特点的学习。在许多应用领域中(见期刊),这些特征已被证明是一个十分强大且可靠的表征。要提供这样一个丰富的表征和成功的分类,需要足够多的训练数据。所需数据量是一个有待探讨的关键问题。相关问题包括以下内容:我们如何最有效地使用所拥有的训练数据?在没法取得数据的情况下我们能做些甚么?和最后是不是存在获得数据并进行医学注释的替换方法?

其中一些问题由该期刊中的一些论文解决。Van Grinsven等人试图通过动态选择训练期间被错误分类的负样本来改良和加速解决医学图像分析任务的卷积神经网络训练。卷积神经网络训练过程是一个连续的过程,需要屡次迭代(或多个时期)来优化网络参数。在每一个时期,一个样本的子集是从训练数据中随机选择的,并通过反向传播和最小化代价函数来呈给网络以更新其参数。医学领域中的分类任务往往是一个正常型/病理型的判别任务。在这种情况下,正常型类别尤其会被过度表征;此外由于每张图象中正常型组织的重复型模式,大多数正常型训练样本是高度相干的。其中只有一小部分会包括有用信息。在学习过程中对这些数据进行同等处理会致使在无用的正常型样本上浪费许多次训练迭代,使卷积神经网络的训练进程花费不必要的时间。能够辨认有用的正常型样本的一种方法(如该研究所示)提高了卷积神经网络学习过程的效率并减少了训练时间。

4)迁移学习和微调:在像ImageNet一样全面注解的医疗成像领域中获得数据仍然是一个挑战。当没有足够多的数据可用时,有几种方法可以提供帮助:1)迁移学习:由自然的图象数据集或由一个不同医疗领域中所预训练过的卷积神经网络模型(监督型)被用于手头一个新的医疗任务。一种方案是,一个预训练过的卷积神经网络被施加到一张输入图像中,然后其输出从网络层中被提取出来。所提取的输出被当做特点并被用于训练一个单独的模式分类器。例如在Bar等人的研究中,预训练卷积神经网络被用来作为一个鉴定胸部病理的特点生成器。在Ginneken等人的研究中,基于卷积神经网络的特点与手动添加的特征被整合在一起,实现了一个结节(nodule)检测系统中的性能提升。2)微调:确切有一个中等大小的数据集可用于手头任务,一个参考方案是,在进一步的监督型训练完成后,将一个预先训练的卷积神经网络作为几个(或全部)网络层的初始化来使用,在手头任务中使用新数据。

迁移学习和微调是在医疗成像应用中使用深度卷积神经网络的关键部份。对这些问题进行探讨的是Shin和Tajbakhsh等人的研究工作。其研究中的实验结果一致表明,使用带有微调的预训练神经网络能够达到最佳效果,无论是特定应用领域(Tajbakhsh等人)还是所有网络架构(Shin等人)。Tajbakhsh等人的进一步分析表明,深度微调在性能提升方面优于浅度微调,而训练集尺寸的下降也使得使用微调的重要性得到提高。在Shin等人的研究中,GoogleNet架构相比其他较浅深度架构实现了最先进的纵隔淋巴结检测。

5)真实标注数据(Ground Truth)——来源于专家与非专家:对公开真实标注数据的缺乏,和每次医疗任务中搜集这些数据的难度,加上本钱和时间开消,这些都是医疗领域中使人望而生畏的限制因素。虽然众包实现了对现实世界图像的大型数据库的注释,但其在生物医学目的上的运用却需要一个更加深入的理解力,因而需要对实际注释任务有更精确的定义(Nguyen和McKenna等人)。专家任务被外包给非专家用户的事实可能会导致杂乱的注释,引发用户之间的分歧。许多问题出现在医学专家与非专业人士的知识结合上,比如怎样结合信息源,如何由他们在性能和其他方面被事先证明过的准确性来评估和混合输入权重。这些问题由Albarqouni等人解决。他们提出一种结合了聚合层aggregation layer的网络,该聚合层被集成到卷积神经网络中,从而将源于群众注释的学习输入作为网络学习过程的一部分。显示结果对深度卷积神经网络学习的功能给出了有价值的见解。有关医学领域中众包研究最惊人的事实竟是这样一个结论:一群非专业的、没有经验的用户实际上可以做得像医学专家一样好。Nguyen和McKenna等人在放射图像的研究中也视察到了这点。

D.创新应用和新奇应用案例

Kallenberg[32]的工作是以乳腺X片图像为输入数据源,运用无监督式特点学习来为乳腺的疾病风险打分。他们展现了一种从无标记数据来学习层次特征的方法,然后这些特征将会直接输入到一个简单分类器中。在这个分类器中,将会进行2类不同的操作:1)乳房密度的图象分割,2)乳腺X片纹理的打分。分类器在这两方面的表现都非常优秀。为了控制训练模型的容量,通过一个稀疏正则化优化来控制稀疏的时间和范围。无监督式学习进程中卷积层其实可以看成是一个自动编码器autoencoders;在监督学习部分,(预先训练好的)权值和偏差值会进一步运用softmax回归函数来微调。

Yan[33]等人的工作中设计了一个多阶段(multi-stage)深度学习框架来处理图象分类问题并且将其用于人体局部特点辨认。在预训练阶段,通过多示例学习(multi-instance learning)来训练卷积神经网络,从而获得当前训练数据切片中里最具有辨别力的局部图块和无效讯息的局部图块。在强化阶段,预训练好的卷积神经网络将进一步通过相应局部图象来训练图像分类器,从而强化他的分类能力。这个多示例深度学习方法的突出点在于可以自动的完成辨别性的局部图像和无效讯息的局部图像的识别。因此,不需要事先的人工标注工作。

回归网络在医疗图象里的使用不是很常见。Miao等人提出了一种基于卷积神经网络的回归网络,来实现实时的二维/三维配准。他们提出了三个算法来简化潜在的映照对象回归,并且在CNN回归模型中加入了一种强健的非线性模型。从这个网络的输出结果来看,深度学习算法比之前的最优算法的结果更准确且鲁棒性更好,大幅度提升了基于灰度的二维/三维配准进程。

目前我们仍然在探索神经网络可以运用的领域,以及在哪些领域上他们的应用和任务维度上会产生延续的影响。在一个开创性的研究中,Golkov[35]提出了一个原始化的论证,他运用深度学习来简化弥散MRI(核磁共振)图象数据处理,优化后仅需一步。他们的研究表明,这种改进使得人们从一个先进的模型获得标量测量数据的扫描时间减少了12倍,并且不需要应用扩散模型就能识别异常。揭示扩散加权信号和显微组织特性之间的关系是值得正视的。Golkov[35]表示,应用深度神经网络或许可以揭示这样的关系:弥散加权成像(DWIs)可以直接被作为输入数据,而不是通过模型拟合获得的标量丈量值来处理。这项研究表明基于逐一立体像素的显微组织预测,和基于弥散加权成像值的自动无模型图像分割可以用于健康组织和MS病灶的模型训练中。散布峰广为人知的是通过12个数据点、凸起方向弥散和仅8个数据点的密度估计来得到。这个为临床研究提供了快速且鲁棒性更好的方法,同时也表明标准的数据处理过程可以用深度学习的方法来简化。

讨论:关键问题和展望

已有的很多工作显示,深度网络的的使用提升了目前的最高水平,且这些提升在很多领域都是一致的。通常情况下,深度学习给出解决方案的所取得的进步是相对直接的,这一点我们可以从医疗计算领域看到这一明显的进步。在《医疗影象中的深度学习:一项令人激动的新科技的综述和展望》一文中,提出了这样一些问题:2012年的大规模种类辨认理论有了10%的进步,但如何在运用方面取得实质性的飞跃呢?所提出的问题正确吗?探索的方向正确吗?使用的图像表达技术足以支撑吗(比如,2D还是3D)?需要从每一个医疗案例中取得更多的数据吗?还是转向深度学习更高效?还有更多的相干问题在这篇文章的第二部分被提出来。大部分的问题丞待解决。

在这篇文献中,可以看出,虽然通过深度网络可以接触到监督式学习和无监督式学习,但是仿佛大部分的工作都在使用监督式学习。那么在医学领域呢?数据量是一个关键因素,在形式上就要求结合监督式学习和无监督式学习双方的优点。在医学领域,由于很难获取大数据(人工标注难以取得),所以该领域需要更多的半监督式学习和监督式学习。

此文包括很多的网络构架。从当前已发表的论文中可以看出可变性是非常大的。选择已知的构架,设计任务稳定的构架,跨构架融会等都可能导致可变性。我们可以就此提出一个有趣的问题:如果一个非常深层的残差网络,跨过了152层,在ILSVRC 2015层分类任务上表现最好,那末应用到医疗上也可以获得很好的结果吗?

深度学习一个很重要的方面就是它可以从大量的训练数据中获益。基于ImageNET数据集在ILSVRC竞赛后,获得了计算机视觉上的巨大突破(http://www.image-net.org/)。相比于其他论文中所用到的训练数据集和测试数据集,这个特殊问题所用到的数据集非常大(百万和一千一百相比)。如果我们能构建了类似这么大的公共医学图象数据集,我们的社会将受益很大。

为何这项工作非常有挑战性呢?第一,很难为构建这样一个数据集张罗资金;第二,要对医学图象数据进行高质量的注解,就需要医学专业知识,这不仅非常稀缺且非常昂贵;第三,与自然图象相比,隐私问题使得医疗数据更难以获得;第四,医疗成像的运用广度需要搜集更多不同的数据集。尽管存在着这么多障碍,我们还是在数据搜集和同享数据方面有了很快的进展。许多公共数据集已经发布,并且现在在实践中使用它们了。例如,VISCERAL和癌症成像档案,Roth et al.[13]和Shin et al.[17],通过对CT扫描扩大的淋巴结图象进行分析而取得的数据集,已经在癌症成像档案上公开,同一研究组也在线上公然了胰腺数据集。

自2007年以来,在诸如MICCAI,ISBI和SPIE医学成像等医学成像会议上举办竞赛研讨会已成为一种习惯。网站上有大量的数据集和正在进行的研究。使用这些公共基准数据集相对于仅使用公共数据集具有明显的优势:竞赛提供了要解决的任务的精确定义,并且已经定义一个或多个评估度量,给各种算法提供了公平的评价标准。如果没有这样的评价标准,即使各个算法使用相同的数据集,也难以将相同问题的不同方法进行比较。例如,其中的三个研究(Anthimopoulos等,Shin等和van Tulder等)使用带有医学注释的相同胸部间质性肺疾病CT扫描数据集,但是他们所报告结果却不同。

在这一方面,一项关于这个问题的研究(Setio et al.)在一个对肺结节的挑战上初见成果。这项挑战是由IEEE和ISBI会议共同组织,所使用的是公开的LIDC/IDRI数据集,这篇文章中所提建立的系统可直接与其替代方法进行比较。

去年已经有了一个以医疗图象分析为平台,基于机器学习应用的比赛。Kaggle组织了一次关于辨认糖尿病患者眼底彩色图象的竞赛,奖金为100000美金。661支队伍提交了结果,一共提供了8000张图片。这些数据被用于一项特殊研究(van Grinsven et al.)。

最近,第二届通过核磁共振图片丈量心脏体积,得出射血分数图象医学图像分析比赛结束了。一共192支队伍参加了比赛,奖金为200000美金。在这两个比赛中,最优秀的竞争者都在使用卷积神经网络。在所使用的较为好的算法中,使用大数据集和深度学习的参赛者显出了更大的优势,我们希望这种趋势能继续下去。在这种情况下,在接下来的一系列世界范围内关于提高各种成像的癌症筛查的准确性的竞争,可能会引起相关人士的关注。

Albarqouni等人的研究显示,在线平台,例如比赛中的那些平台,可以用于多种目的。它们会促进新的合作,构成解决方案,也能够通过众包而取得大量数据的。

最后,我们感谢总编的指点,TMI办公室的帮助,最重要的是作者和审稿人的巨大努力。这篇文章给出了医学影像,这个迅猛发展的领域的快照。我们希望你会喜欢它,并期待未来你对这个领域的贡献。

不射精症容易治好吗
附睾炎手术治疗多少钱呢
经期阴道炎能治疗吗

相关推荐