您当前的位置: 首页 > 健康

详解智能医学影像分析的前沿与挑战硬创公开课

2018-11-22 09:07:52

雷锋网按:本文整理自雅森科技高级算法研究员杨士霆,在雷锋网硬创公开课上的演讲,主题为“智能医学影像分析的前沿与挑战”。

杨士霆,毕业于台湾长庚大学电机工程研究所博士班,主攻医学影像处理与应用。研究领域涉及医学影像处理,生物医学资讯,医用光学,类神经与模糊理论,功能性磁振造影,医学物理与生医统计。曾在台湾林口长庚医院,宁波杜比医疗负责影像算法开发工作,现任职于北京雅森科技发展公司,担任高级算法研究员。

公开课视频如下:

以下为雷锋网(公众号:雷锋网)整理的演讲主要文字内容(关注雷锋网医疗科技微信公众号“AIHealth”,回复“117”下载完整PPT):

本次公开课主要分为四部分:

一是医学成像的概念及其类型与方式,以及人工智能及深度学习等技术的介绍;

二是深度学习如何应用于医学影像处理等医疗领域;

三是深度学习目前遇到的困难与需要突破的方向;

是总结。

医学影像与人工智能

近三十年的医学成像,是一种实用性及创新概念的革命,主要包括两个部分:

一是硬件发展的突飞猛进,包括MR、CT等硬件的发展,这些成像技术让我们得到了很好的影像;

二是复杂数学工具的利用,通过这些方式可以对医学影像进行重建、分析与处理,从而得到清晰可见的医学图像。

这两个部分造就了成像上的进展。

医学成像主要分为两个形态:

一是结构性图像,它主要可以得到组织的结构性特征,但无法看到生物有机代谢的情况;

二是功能性图像,它可以提示代谢的衰变与下降,或功能性的疾病。

相比结构性图像,功能性图像的空间解析度较差。

我们可以透过不一样的介质来形成图像,结构性成像包括:

X-ray,如血管摄影和电脑断层,它可以看到组织结构;

声音的方法,如超声成像;

荧光,它可以用来探讨组织和细胞的形状与结构;

磁场,如核磁共振,它可以看到脑组织和身体器官的结构;

光学,比如眼底图像,光学相干断层扫描,它可以侦探到身体的结构,帮助诊断。

功能性图像有:

光子,如用单光子电脑断层扫描,可以看到代谢状况,不过没法看到组织结构;

正子,如正子断层扫描,它加上一些医学药物的应用,可以看到代谢情况,看到肿瘤和病灶;

血氧水平,如fMRI功能性磁共振;

电流活动,下中图是脑波图的方法,透过脑波图,拓扑到脑部对应位置,可以看到活动状态下脑部电流改变的状况;

磁场,与脑波图类似,通过脑磁图的方法,用磁场侦探微弱电流,可以感应出大脑中的功能性差异。

关于人工智能,我们一直听到它将对日常生活产生重要的影响。而如今,计算机已经可以像人类一样准确地处理图像与视频,甚至比人类表现还要好。这些突破主要来自深度学习。

关于深度学习,可以理解为它是机器学习的一个分支,其主要目的是模拟更高层次抽象思维。

深度学习主要是建构大量的抽象层,帮助将一些输入的讯号映射到更高层的表现方式。例如,处理图像中,输入的特征可以是每个像素,可以计算像素的强度,它可能是一组边缘,也可能是特定的轮廓与区域。透过这些方式可以让深度学习去达到我们的目的。

深度学习主要有非监督与半监督特征学习,它会分层进行特征提取。

在医学成像中,要做到诊断,对疾病进行评估,需要:

一借助影像设备获取图像,由于近几年影像设备的进步,它在诊断上取得了比较好的效果。

二是解读医学图像。现在主要依靠医师完成,但有一些问题需要克服,比如主观性,医师的经验和训练不同,在看医学图像时有不同方式的解读与定义;另外医师的经验不同,对同一组资料的解读有较大的差异;而且医师会疲劳,从而导致解读的错误。

三是检测出异常。

四是将想量测的位置进行量化,比如术前术后,让医师评估手术前后的差异时,要针对图像做量化,透过前后数据的差别,协助医师判断手术是否成功。

上面提到的四个主要问题,都可以通过深度学习的方式来促进诊断,即将需要治疗的地方做明确的辨识,辅助医师做更有效地诊断,找到病灶。

深度学习在医学影像上的应用

接下来要讲解深度学习技术在医学影像上的应用。目前医学影像领域的主要处理内容有:

CAD,即计算机辅助诊断,医师可以据此评估病人的治疗情况,以及术前术后的差别等。辅助诊断也可以通过图像分析的方法,找到肿瘤和癌症病灶。

图像分割,主要是对身体的组织做明确的分割。

图像配准与图像融合,这两者可以一起讲。我们知道,图像有结构性与功能性之分,后者图像空间解析度差,可以看到组织的代谢情况,但不知道位于组织中的位置。所以需要影像配准与融合,将不同类型的图像结合在一起,一个提供清晰的结构,一个提供代谢情况,这样可以了解到组织与器官的病变。

影像导引治疗。它可以分成两类,一是影像导引手术,比如做开脑手术时,癫痫病人会不自主地出现放电异常抽动,用药物抵制可能没效果,这就要在大脑中植入电极,而这样就需要引导的方法,将电极放到正确位置上。二是放射手术治疗,即放疗,它需要对肿瘤的位置做评估,因为放射线可以杀死癌细胞,也可能杀死正常细胞,所以要引导将放疗固定在正确的位置,这也就需要医学图像的应用。

是医学资料库的搜寻与获取,即如何从资料库中检索出想要的数据,这些可以通过深度学习的方法处理。

我们为什么要在医学图像上使用深度学习的方法呢?因为图像有不同形态,来自不同的组织,而如前所述,深度学习可以进行分析与处理,让一些人为误差得到调整。通过深度学习提取主要的特征,它也可以对疾病分类,做图像分类与分割。

接下来讲讲深度学习的临床应用。

上图中的案例是全自动淋巴结检测。左边是纵隔的淋巴结,右边是腹部淋巴结。可以看到,图像标定出来的位置中,其实淋巴结有很大的差异,比如形状与位置不一定,它与周围的组织也非常类似。

过去传统的图像处理,是透过电脑断层图像,取得3D的立体影像,然后做影像上的处理分析与应用。比较新的方法是増强式3D Haar特征,建立整体完整的检测器,透过scanning window检测淋巴结。

但传统方法表现不佳,主要是维度上的限制。

在前两年的一篇论文中,有人透过深度学习的方式自动检测淋巴结。做法是,首先通过随机森林分类器RF,检测出大概位置并做标定;然后将标定出来的淋巴结,根据矢状面、横切面、冠状面、三维角度,互相正交结合,创建出2.5维的空间投影立体特征。接下来,透过HOG特征提取方法,对空间投影图像进行向量特征截取。然后通过SVM训练方法,将取得的特征做加强和训练,然后自动检测出淋巴结位置。

用深度学习的方法做分割,在2015年的一篇文章也有展现。它主要利用卷积神经网络CNN,自动将大脑灰质、白质、脑脊髓翼自动分割,从而分析大脑的病变。

这篇论文中利用深度学习将不同的病人的资料做分割,精确度都不错。

具体来说,作者用CNN将不同类型的MRI图像,做有效分割,精确分割灰质、白质、脑脊髓翼。

他们通过CNN,将图像分成一块块patch,然后对完整图像做学习,训练与分类。

上面这个研究是海马回的分割。研究表明,海马回主要与记忆有关。上图是用手标定的海马回的位置,可以看出与淋巴结一样,它与临近组织很相近,分割有一定难度。

在2015年的一篇论文中,就有作者通过CNN,用2D patches、三平面patches,以及改良式3D patches的方法,将海马回进行深度学习,从而分割。左边是还没处理的情况,右是明确定位了海马回的位置。

在光学图像上,这里的例子是糖尿病视网膜病变的检测。一般来说,糖尿病患者容易发生眼部疾病,视网膜血管也会有所改变。上面中间的图是正常情况,右边是患者图像。

所以,在一些研究中用CNN的方法,针对眼底图像进行糖尿病视网膜病变的辨识。已经可以判断严重的情况。

另外还有深度学习在细胞检测中的应用。比如2013年的一篇论文,主要是胸部癌症细胞的检测,标定的是细胞癌症,通过max-pooling CNN,针对胸部组织图像做有丝分裂的分析。结果显示,精确度达到了将近9成。

上图就是针对组织图像的分析,得到的有线分裂的情况。

另外,还有个很好玩的例子。CNN除了做图像识别,还可以将3T MRI图像透过CNN网络,重建出类7T MRI的图像。所谓T是指特斯拉,即磁场感应强度。我们医学中常见的核磁机器是1T和1.5T,而7T是磁场强达7特斯拉,这种设备昂贵,需要很多的费用,但7T图像的性噪比强。所以,研究中想通过深度学习将3T变7T图像。

上图可以看出,左边3T图像中,脑部边缘有些模糊,但处理过后的右图变得清晰了。这是用低成本的方法做重建。

智能医学影像分析的挑战

以上就是深度学习在医学影像上的应用案例。那深度学习在应用当中,还有哪方面的挑战呢?

目前论文的实验,主要是探讨结构效度的评估,一般是在实验架构的基础上,评估CNN配合哪一个patch,哪些在实验中是好是坏。但没有思考,在实际使用深度学习的过程当中,表现是否如预期想的那么好。

使用模型当中,也常常选择很多不一样类型的特征去训练,这个过程中怎么样找出好的有效特征?另外,在建构深度学习模型中,如何透过那么多参数做调整。这些都是深度学习的挑战。

另外,想要发展一个有效的深度理论学习模型,要基于经验资料,去调试与评估网络的效果,这也是主要挑战的目标。在这个过程中,要评估与测量模型复杂的程度,比如:

一是深度学习过程中有神经元的概念,那到底要多少数量?到底要多少patch?

二是还要考虑计算单元的形态,要放置多少的隐藏层、卷积层?这部分是深度学习要思考的。

三是考虑到模型的架构和拓扑的结构,怎么样将CNN与不同类型的机器学习模型,做互相的结合与比较?

四是是怎么样有效地将模型产生与建立起来?

是学习中效率问题。深度学习早在80年代就有所发展,但由于计算机的限制,其发展也并不如意。近计算力的进步才将机器学习的机制建立起来。回过头来看,到了如今的情况,硬件越来越好,那怎么样让学习效率做更有效的分配或调整呢?怎么样将学习效率调整到比较好的阶段,达到很好的结果?这都是深度学习的挑战。

另外,也需要采集数据的量到底需要有多大?听到了很多大数据的概念,但MR图像可能是128*128维度,也有很多的训练。大的数据量的分析与统计都会影响到大数据分析与学习。怎么样做权衡和评估的一个挑战。

我们需要融合经验资料,建构深度的理论学习模型,以取得好的评估效果。要做到这些,我们就需要定义一个理论策略,通过这个策略,去评估、调试模型。

在这个过程中,有一个常规化的机制。即简单的输入-隐藏-处理-输出训练模型。但我们如何调整顺序,使得对模型的调试更加明确、更加常规化,也是值得探讨的地方。

我们在做深度学习的过程中,有个很一致的概念:我们都希望多放些层,或者减少内容。有时候,可能需要多一些特殊的加成层。但如何明确定义这个概念,使其常规化,也是我们要挑战的目标。

另一个挑战是:我们在做深度学习的过程中,常使用的是非深度学习的架构。那我们要怎样评估这个架构,找出一个好方法呢?

,是关于计算效率。我们先前也有提到,机器效能和数据都会直接或间接影响计算效率。如何取得平衡点,是之后的深度学习研究中很好的一个研究方向。

我们做一个简单的总结:深度学习主要用来做什么?

深度学习有很大的潜力,能分析大量资料,通过学习给出分析结论和答案。所以其应用广泛,不仅是在医学影像领域,在其他领域也有很大的贡献。并且在我们分析大数据时,深度学习可以为我们提供精简信息。深度学习的可发展性还是非常大的,还有很多东西值得去挑战,值得大家一起去探讨。

在2016年RANA会议上,深度学习、智能学习非常热门,医生们意识到深度学习可以辅助诊断,甚至能帮他们找出更有效的治疗方法,并且近的一些会议中,我们都可以发现深度学习、智能分析的庞大市场和发展潜力

我相信,深度学习在智能医学影像分析中一定有很大的价值。

推荐阅读
图文聚焦