浅谈医学影像+人工智能：影像特点、技术趋势、应用进展和未来方向 | 焦点评论
前言
医学影像+人工智能一直是大家关心的热点话题。早些时候，初创公司不断涌现，但产品落地一直是瓶颈，商业模型没有完全跑通。最近，新冠病毒还在大肆蔓延，人工智能医学影像分析系统倒是为抗疫作出了不少贡献。
编辑部一直鼓励我就此话题写点什么。正好，最近和几位同行学者撰写了一篇关于“医学影像+人工智能”的最新英文综述文章。所以，借机向大家推荐这篇文章，也算是给编辑部一个交代。
A review of deep learning in medical imaging: Image traits, technology trends, case studies with progress highlights, and future promises. https://arxiv.org/abs/2008.09104
S. Kevin Zhou, Institute of Computing Technolgy, Chinese Academy of Sciences, China
Hayit Greenspan, Biomedical Engineering Department, Tel-Aviv University, Israel
Christos Davatzikos, Radiology Department and Electrical and Systems Engineering Department, University of Pennsylvania, USA
James S. Duncan, Departments of Biomedical Engineering and Radiology & Biomedical Imaging, Yale University, USA
Bram van Ginneken, Radboud University Medical Center, the Netherlands
Anant Madabhushi, Department of Biomedical Engineering, Case Western Reserve University and Louis Stokes Cleveland Veterans Adeministration Medical Center, USA
Jerry L. Prince, Electrical and Computer Engineering Department, Johns Hopkins University, USA
Daniel Rueckert, Department of Computing, Imperial College, UK
Ronald M. Summers, National Institute of Health Clinical Center, USA
“文章本天成，妙手偶得之”。该文章的得来却是大费功夫，几近呕心沥血。究其原因不少。其一，“撺掇”来自欧美亚五国的九位同行学者共同做一件事已经是个难事。其二，正值新冠肆虐、欧美传统暑期度假，时间上不好把控。其三，学者们的行文风格不同，文字整合令人苦恼不堪。其四，文章还有页数限制，如何控制页数、安置220余篇引用也要大伤脑筋。所以，文章全然没有“粹然无疵瑕”、“巧拙两无施”的feel，更遑论“后夔不复作，千载谁与期”了？算是抛砖引玉，如果能给大家有点帮助，就是我们最大的满足了。
出于大家阅读习惯的考虑，虽然文章是英文写的，近20页，这里用中文作简单摘要，希望可以激发大家的阅读兴趣。倘若阐述不明或与原文有不一致之处，请以原文为主。因为是摘要，具体引用就不再赘述。当然，非常欢迎大家批评指正，我们一定在新版本中订正。
感谢Hayit、Christos、Jim、Bram、Jerry、Daniel & Ron。
简介
自其复兴以来，人工智能已广泛用于支持各种医学影像任务，并在不少应用中取得了显著成功，从而将我们带入了所谓的“人工智能”时代。众所周知，人工智能的成功主要归咎于算法的进步、算力的提升和针对单任务的大数据标注。但是，医学影像有自身的特点，给以深度学习为主的人工智能方法提出了独特挑战。本文中，我们首先强调了医学影像的临床需求和技术困难，阐述了如何利用深度学习解决这些问题的新兴技术趋势，涵盖了网络架构、稀疏有噪标签、联邦学习、可解释性、不确定性量化等主题。然后，我们介绍了一些临床实践中常见的应用案例，包括胸部、神经、心血管、腹部和病理影像，描述了在这些研究应用中的重点进展。最后，我们提出了有潜力的未来方向。
影像特点
医学影像利用光、电、磁、声等物理现象对人体或人体某部分以非侵入方式获得内部组织影像。临床中最常见的影像模态包括X射线摄影、电子计算机断层扫描CT、核磁共振成像MRI和超声等。作为医疗临床中最重要的“证据”来源之一，影像数据在医疗数据中占比超90%。
图1）医学影像的显著特点及其对应的智能算法的热点趋势。
医学影像在六个要素上拥有明显的共性特点（如图1）：
影像高维高密：一方面，新扫描协议的使用和新模态如Spectral CT等的发明导致影像数据变得更高维；另一方面，随着医学成像设备的更新换代，影像的像素精度变高，信息密度增大。临床用CT/MRI空间分辨率达亚毫米级；超声空间分辨率比CT还高，时间分辨率达到实时。
数据非标孤立：虽然医学影像数据在临床中大量存在，源于设备、操作等方面的非标准性，数据之间的差异性很大，存在所谓的“分布漂移”现象。由于隐私、管理等因素，数据在不同的医院、影像中心等孤立地存在，真正中心化的开源医疗大数据并不多见。
疾病长尾突发：Radiology Gamuts Ontology [1]定义了12,878种“症状”（导致结果的条件）和4,662个“疾病”（影像学发现）。但是疾病的发病率呈现典型长尾分布，小部分常见疾病占据大量病例，而大部分疾病在临床中并不多见，数据量少。另外，传染性疾病时有发生，如最近大肆发作的COVID-19新冠病毒肺炎。
标注稀疏有噪：影像数据的标注费时昂贵，造成标注的稀疏性；同时不同的任务需要不同形式的标注。另外，标注通常因人而异，不同医生之间的差异性大；标注通常是有噪声的；标注金标准的建立也是个悬而未决的问题。
样本各异不均：在已标注的数据样本中，无论是正样本还是负样本，样本个别差异度大，其概率分布呈现典型的多模态。同时，正样本和负样本之比例极度不均衡。例如，肿瘤的像素数量比正常组织通常少一个甚至多个数量级。
任务复杂多样：医学影像计算有繁多的任务。在技术层面，有重建、增强、恢复、分类、检测、分割、配准等，这些技术及其组合，结合影像模态和疾病种类的多样性，产生层出不穷的应用场景和高复杂度的任务。
技术趋势
现有的医学影像计算分析模型大多基于深度学习（deep learning，简称DL），特别是卷积神经网络（convolutional neural network，简称CNN）。深度学习的最初成功来源于计算机视觉任务，主要是针对自然图像的，并且建立在单任务拥有大量标注数据的基础之上的 --- 所谓的“小任务、大数据”。由于不同的医学影像分析任务之间是相互独立的处理，产生了不同的个体化模型，因此缺乏可扩展性。另外，深度网络模型是黑箱式，缺乏可解释性，但临床决策的核心是循证和解释。
虽然医疗影像特点鲜明，场景挑战突出，但是解决“小任务、大数据”的深度学习模型并没有针对医疗影像自身的特点和需要做出特别设计；可喜的是，近年来业界有不少探索，本综述试图阐述算法热点趋势如下。
网络架构。这方面研究主要关于如何提升网络容量，同时让学习更有效。具体包括如何让网络更深或更宽、引入跳转链接 (skip connection）、对抗 (adversarial) 机制、注意力(attention)机制、深监督(deep supervision)等。最近，网络架构搜索 (neural architecture search，简称NAS) 以及轻量级网络设计的研究很热门。
标注高效。解决稀疏和有噪的标签需要有效的方法。一个核心想法是充分利用来自现有模型和数据获得的特征表示能力的鲁棒性，即使模型或数据不一定来自同一域或用于相同的任务。为此，科学家们提出了迁移学习、领域适应、自监督学习、半监督学习、弱/部分监督学习、无监督和解耦学习等方法。
融合知识。医学影像不同于自然图像一个重要特点是涉及专业医学领域知识，如成像原理、专业理论、临床实践、循证医学、指南与专家共识等。如何将这些多样的领域知识嵌入数据驱动的深度学习从而实现鲁棒建模是近年来AI医学影像分析的研究热点之一。但是，由于不同方法利用不同的知识，所以方法间的差异性很大。图2展示了一个实例，将模型学习到的CT图像域结构知识迁移用于X光影像增强。
联邦学习。为了解决与数据隐私、安全性和访问权限有关的问题，通过分布式计算和模型聚合策略来学习通用鲁棒的算法模型变得越来越重要，因为这样的学习机制无需将任何数据传输到医院或影像实验室之外。该研究方向被称为联邦学习，是遵循与传统的集中式学习完全相反的思路。
可解释性。临床决策在很大程度上取决于循证和解释。缺乏证据和解释使医生很难相信机器学习模型的预测，尤其是在疾病诊断方面。此外，可解释性也是新知识的来源。大多数解释方法可分为模型解释和事后解释。前者是关于约束模型的（如稀疏性、模块化等）; 后者是从已经学习到的模型中提取关系信息。
不确定性定量化。不确定性量化通常用置信度来表征模型预测，可以将其视为事后可解释性的一种方法。不确定性可以分为两种：模型不确定性和数据不确定性。
图2）将学习到的CT图像域结构知识迁移用于X光影像增强。
应用进展
鉴于深度学习已在许多医学影像应用被广泛使用，因此几乎不可能在一篇论文中涵盖所有可能的相关文献。在此，我们涵盖了一些在临床实践中常见应用，包括胸部、神经、心血管、腹部和显微影像。本综述并没有提供每个研究案例的详尽文献调查，而是在每个案例研究中突出了一些的进展亮点以供参考。
胸部影像
肺部疾病具有很高的死亡率和发病率。全球十大死亡原因中就包括肺癌、慢性阻塞性肺疾病（COPD）、肺炎和结核病（TB）。在撰写此综述时，COVID-19的死亡率与结核病相当。影像学与肺部疾病的诊断、治疗以及了解导致肺部疾病的原因和机制是息息相关的。除此之外，住院患者的肺部并发症也很普遍。到目前为止，胸部X光是最常见的放射学检查手段，通常占放射科所有工作的1/3以上。CT也是常见的胸部成像方法。充气的肺实质与组织之间的高密度对比使CT成为肺部分析的理想选择，即使在非常低的辐射剂量下也能获得高质量和高分辨率的图像。核成像（PET或PETCT）用于肿瘤患者的诊断和分期。MRI在肺部受到一定限制，但可以产生独特的功能信息。超声波肺成像也很困难，因为声波会在空气和组织的边界强烈反射，但是急诊科会使用手持超声，并且最近广泛用于监视COVID-19患者。本综述围绕解剖结构的分割、胸部X光片的检测与诊断、肺癌筛查的决策支持三方面展开了具体的文献调查和评论。另外，综述就新冠肺炎的影像分析专门讨论了的最新研究进展。图3展示了CORADS-AI系统示例。
图3）CORADS-AI系统示例。第一排显示冠状切面，第二排显示肺叶分割，下排显示检测到的异常区域和典型的COVID-19感染。图像下方显示每个肺叶的CO-RADS预测和严重程度评分。
神经影像
核磁影像数据在神经影像中占据大多数。近年来，深度学习已经在神经影像中得到了极大的普及。现在，许多神经影像任务（包括分割、配准和预测）都有基于深度学习的实现。此外，通过使用深度生成模型和对抗训练，深度学习为复杂图像合成任务的研究开辟了新途径。随着大型且多样化的影像数据集的诞生，神经影像学研究的可用性不断提高，这归咎于深度学习技术，不仅提高了准确性和通用性，同时减少了推理时间和降低了复杂预处理的需求。尤其是卷积神经网络 (CNN)，实现了有效的网络参数化和空间不变性，并且降低了对特定领域知识的需求这在处理高维神经影像数据时至关重要，在一系列预测和分析任务中被证明有效。本综述面向神经图像分割和组织分类、可变形的图像配准、GAN在神经影像学中的应用这三方面展开了具体的调研。图4展示了通过级联深层网络方法获得的脑结构分割结果。
图4）通过级联深层网络方法进行脑结构分割。来自于A）健康受试者；B）脊髓小脑共济失调（SCA）2型；C）SCA 3型；D）SCA 6型受试者。
心血管影像
常见的心血管影像有CT、MR和超声。数据驱动的深度学习算法已经改变了对心脏解剖结构和功能的量化和理解。最近在心血管成像的各个子领域都有了重要的工作，包括图像重建、心脏疾病诊断以及整合临床信息进行分析。在这里，我们简要地关注该领域的三个关键方面：心腔分割，心脏运动跟踪和血管分析。图5展示了运动跟踪+分割联合建模的四维两通道CNN架构获得的实验分析结果。
图5）上：心脏运动跟踪+分割联合建模的四维两通道CNN架构； 下：左=位移场；右=左心内膜（红色）和心外膜（绿色）的轮廓线。
腹部影像
CT、MRI、超声、PET等影像常被用于腹部的临床决策。为了辅助临床决策，最近医学影像AI技术在腹部解剖结构分割、疾病自动检测和分类方面取得了不少进展，这主要得益于技术的进步和大型公共数据集（例如MICCAI数据十项全能和DeepLesion数据集）的促进作用。综述简要地回顾了腹部多器官分割、病变检测分析和机会性筛选（opportunistic screening）这三个方面的研究。图6展示了腹部CT的通用病变检测结果示例。
图6）腹部CT的通用病变检测。在此上腹部的轴向图像中，以高置信度正确检测（见绿色框）到肝脏病变（0.995），还正确检测到肾囊肿（0.554）和骨转移（0.655）。误报（见红色框）包括正常胰腺（0.947），胆囊（0.821）和肠（0.608）。遗漏了微妙的骨转移（见蓝色框）。
病理影像
随着显微全切片图像的出现以及组织切片图像的大型数据集的推出，深度学习方法在数字病理中的应用已显著增加。虽然这些方法在数字病理领域的最初应用主要集中于检测和分割淋巴细胞和癌核等单体上，但现在已经发展为解决更复杂的诊断和预后任务，以及用于预测疾病的潜在分子基础和突变状态。综述简要介绍了四个方面的研究成果：细胞核检测与分割、疾病分级、突变鉴定和途径关联、生存分析和疾病结果预测。图7展示了深度学习在显微影像中的两个典型应用。
图7）上：识别癌变区域；下：识别分割不同类型的细胞核。
未来方向
毫无疑问的是，医学影像智能作为一个新兴领域，前景广阔。展望未来，其有不少值得关注的问题和方向。
技术挑战。本综述回顾了横跨多个医学领域的任务及其技术挑战。首当其冲的是来自数据的挑战，整个社区正在不断开发和改进基于迁移学习的解决方案和数据增强方案。随着系统开始在不同数据集、医院和国家/地区之间落地，一系列新的挑战正在出现，包括跨协议、机器和医院的系统稳健性和通用性。数据预处理、终身模型学习以及跨系统调参是未来的一些新发展。
临床落地。在许多挑战竞赛中，智能影像系统得出的结果都接近或达到了放射科医生的水平，使用AI的专家表现通常要优于没有AI的人类专家。这也伴随着AI医学影像初创公司的不断涌现。到目前为止，人工智能正在开始慢慢进入临床落地阶段，有越来越多的智能影像系统得到监管机构的批准上市，目前还在肆虐的新冠肺炎在某种程度上也促进了大众和医院对智能影像系统的接受程度。当然，从研究到临床使用的进展似乎还不尽人意。造成这种情况的原因多种多样，包括：用户对技术持谨慎态度，尤其是担心被AI取代；需要证明该技术可以满足实际用户需求并带来可量化的收益；漫长而昂贵的监管途径，患者安全考虑因素以及经济因素。
潜在方向。可预见的第一步是将影像与其他临床背景信息相结合，包括患者病历记录、血液测试、基因组学、药物、生命体征、移动医疗数据。该步骤将把画像从图像空间过渡到患者空间。另外，群体信息的收集与统计分析可以帮助更好地了解疾病表现、治疗反应、药物不良反应以及药物之间的相互作用等；但此步骤需要构建复杂的基础结构，并在医院和学术研究机构之间、医院之间以及跨国机构中形成新的隐私和安全法规。随着越来越多的可用数据的涌现，人工智能将能够对数据进行无监督的探索，从而为我们带来崭新发现。
The best way to predict the future is to create It. -- Abraham Lincoln
相关内容
微信扫码咨询专知VIP会员