深度学习能自动从大样本数据中学习获得优良的特征表达,有效提升各种机器学习任务的性能,已广泛应用于信号处理、计算机视觉和自然语言处理等诸多领域。基于深度学习的医学影像智能计算是目前智慧医疗领域的研究热点,其中深度学习方法已经应用于医学影像处理、分析的全流程。由于医学影像内在的特殊性、复杂性,特别是考虑到医学影像领域普遍存在的小样本问题,相关学习任务和应用场景对深度学习方法提出了新要求。本文以临床常用的X射线、超声、计算机断层扫描和磁共振等4种影像为例,对深度学习在医学影像中的应用现状进行综述, 特别面向图像重建、病灶检测、图像分割、图像配准和计算机辅助诊断这5大任务的主要深度学习方法的进展进行介绍,并对发展趋势进行展望。
强化学习是机器学习领域的研究热点, 是考察智能体与环境的相互作用, 做出序列决策、优化策略并最大化累积回报的过程. 强化学习具有巨大的研究价值和应用潜力, 是实现通用人工智能的关键步骤. 本文综述了强化学习算法与应用的研究进展和发展动态, 首先介绍强化学习的基本原理, 包括马尔可夫决策过程、价值函数、探索-利用问题. 其次, 回顾强化学习经典算法, 包括基于价值函数的强化学习算法、基于策略搜索的强化学习算法、结合价值函数和策略搜索的强化学习算法, 以及综述强化学习前沿研究, 主要介绍多智能体强化学习和元强化学习方向. 最后综述强化学习在游戏对抗、机器人控制、城市交通和商业等领域的成功应用, 以及总结与展望.
我们生活在一个由大量不同模态内容构建而成的多媒体世界中,不同模态信息之间具有高度的相关性和互补性,多模态表征学习的主要目的就是挖掘出不同模态之间的共性和特性,产生出可以表示多模态信息的隐含向量.该文章主要介绍了目前应用较广的视觉语言表征的相应研究工作,包括传统的基于相似性模型的研究方法和目前主流的基于语言模型的预训练的方法.目前比较好的思路和解决方案是将视觉特征语义化然后与文本特征通过一个强大的特征抽取器产生出表征,其中Transformer[1]作为主要的特征抽取器被应用表征学习的各类任务中.文章分别从研究背景、不同研究方法的划分、测评方法、未来发展趋势等几个不同角度进行阐述.
http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6125&flag=1
医学社区的长期目标是高效和智能地呈现和分析医学图像。一方面,这意味着要找到有效的方法来获取高质量的医疗图像,以便医疗保健提供者能够随时使用。另一方面,它意味着发现智能的方式来解释医学图像,以促进医疗保健的交付。为此,研究人员和医学专业人员通常寻求使用计算机系统,这些系统通过机器学习技术来处理医学图像。应用机器学习的一个关键步骤是获得能很好地描述医学图像的信息表示。通常,这是通过手动特征工程来完成的,然而这需要相当多的医学领域的专业知识。一种可能的解决方法是允许模型从原始数据中自动发现关于目标域的潜在表示。为此,本文将重点放在深度学习上,深度学习只是更广泛的机器学习家族的一个子集,但最近已经取得了前所未有的进展,在发现高维数据的复杂结构方面显示出令人难以置信的能力。对于许多计算机视觉任务,深度学习方法已经取得了最先进的性能,以显著的优势。本文开发了用于医学图像分析、重建和合成的深度学习模型和技术。在医学图像分析中,我们注重对医学图像内容的理解和对执业医师的指导。特别是,我们研究了深度学习的方法来解决分类,检测,分割和配准医学图像。在医学图像重建和合成中,我们提出利用深度学习的方法内在地学习医学数据空间,有效地合成真实的医学图像。对于重建,我们的目标是生成高质量的医学图像和较少的伪影。对于合成,我们的目标是生成真实的医学图像,以帮助学习医学图像分析或重建模型。这篇论文的贡献有三方面。首先,我们提出了利用深度学习解决医学问题的各种方法。其次,我们展示了医学知识融合在深度学习架构设计中的重要性和有效性。第三,我们展示了深度生成模型在解决医学图像重建和合成问题的潜力。
虽然像CNNs这样的深度学习模型在医学图像分析方面取得了很大的成功,但是小型的医学数据集仍然是这一领域的主要瓶颈。为了解决这个问题,研究人员开始寻找现有医疗数据集之外的外部信息。传统的方法通常利用来自自然图像的信息。最近的研究利用了来自医生的领域知识,通过让网络模仿他们如何被训练,模仿他们的诊断模式,或者专注于他们特别关注的特征或领域。本文综述了将医学领域知识引入疾病诊断、病变、器官及异常检测、病变及器官分割等深度学习模型的研究进展。针对不同类型的任务,我们系统地对所使用的不同类型的医学领域知识进行了分类,并给出了相应的整合方法。最后,我们总结了挑战、未解决的问题和未来研究的方向。