模拟人类医生,自动生成靠谱医学报告,腾讯医典创新方法入选CVPR 2021

3 月 18 日 机器之心
模拟人类医生,自动生成靠谱医学报告,腾讯医典创新方法入选CVPR 2021

机器之心发布

机器之心编辑部

近日,全球计算机视觉三大顶会之一的 CVPR(IEEE 国际计算机视觉与模式识别会议)公布了 2021 年度的论文录用结果。腾讯医典 AI 与北京大学合作完成的论文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》,凭借在医学图像报告自动生成领域的研究突破成功入选。

医学图像被广泛应用于诊断参考,基于肺部 CT 的新冠肺炎诊断也在疫情期间成为防控的关键。在医疗实践中,医生需要针对医学图像按标准撰写和输出医学报告。


面对庞大的患者数量,为所有的图像逐一撰写报告占据了医生大量工作时间。不同医生的经验差异也使得部分图像中的异常被忽略,无法体现在报告中。如何借助人工智能快速、准确地自动生成报告,对于提升医生工作效率和服务质量具有重要的实用价值,也成为了近年来医学图像研究领域中的一个重要课题。

然而,先进的医学图像报告自动生成系统也很容易受到医学图像报告中的数据偏差误导。本次腾讯医典 AI 入选的论文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》,创新地提出了 后验-先验知识探索及蒸馏(PPKED)框架,模拟人类医生的判读方式,结合先验和后验知识来生成报告,以提高最终生成的医学报告质量 ,针对性弥补了这一不足。

方法
 

模型框架。

模型中的先验探索(PrKE)模块可以通过预构建包含心脏肥大、脊柱侧弯、钙化点、肺炎等常见异常特征信息的知识图谱,模拟医生学习过的医学知识,以更好地识别出各种图像中的异常。

另一方面,通过在训练集中匹配、提取已知的相似图像和报告,可以与病人的历史报告做比对参考,模型亦在一定程度上模拟了医生根据自身丰富的经验来做决策的过程,实现利用先验知识来指导报告的生成。


后验探索(PoKE)模块可实现将当前图像进行标签分类,模拟医生找寻图像异常的过程,大致框定异常的区域,提醒医生针对该区域做进一步识别处理。

在经过多领域知识蒸馏(MKD)模块的综合过滤后,先验和后验知识可以生成最终的报告。


这一创新模型在 IU-Xray 和 MIMIC 两个国际公认的公开数据集上取得了比以往所有同类模型更好的结果,可以有效地生成更高质量的报告。

总结

医学图像报告自动生成模型的论文登上人工智能领域第一的行业会议,是腾讯医典在人工智能领域的又一次深入探索。

腾讯医典 AI 团队专注于医学知识图谱、医学自然语言理解、多模态深度学习等领域的研究,将持续在医学知识生成和推送、人工智能辅助诊疗等领域向行业输出切实可行的解决方案和领先技术,用科技提升医疗服务效率,助力医疗行业的数字化转型。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:content@jiqizhixin.com

登录查看更多
0

相关内容

利用深度学习方法对医学影像数据进行处理分析,极大地促进了精准医疗和个性化医疗的快速发展。深度学习在医学图像领域的应用较为广泛,具有多病种、多模态、多组学和多功能的特点。为便于对深度学习在医学图像处理领域的应用进行更深入有效的探索,本文系统综述了相关研究进展。首先,从深度学习在影像基因组学中的应用出发,理清了深度学习在医学影像领域应用的一般思路和现状,将医学影像领域分为智能诊断、疗效评估和预测预后等3个模块,并对模块内的各病种进行总结,展示了深度学习各算法的优缺点及面临的问题和挑战。其次,对深度学习中出现的新思路、新方法以及对传统方法的改进进行了阐述。最后,总结了该领域现阶段面临的问题,并对未来的研究方向做出了展望。基于深度学习的医学图像智能处理与分析虽然取得了一些有价值的研究成果,但还需要根据临床的实际需求,将深度学习与经典的机器学习算法及无创并且高效的多组学数据结合起来,对深度学习的理论和方法进行深入研究。

http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20210206&flag=1

成为VIP会员查看完整内容
0
20

辨识性特征学习及在细粒度分析中的应用

细粒度分析旨在对粗粒度的大类进行细粒度的子类划分,如把鸟划分为里海燕鸥、 北极燕鸥等子类别。其广泛应用于智能农业、智能医疗等智能产业,具有重要的研究 和应用价值。其挑战在于类间差异小、类内差异大。以图像为例,不同子类别在形状、 颜色上差异细微,难以区分;相同子类别在姿态、视角上差异显著,容易误分。因此, 关键科学问题是:如何获取细粒度子类别的辨识性信息并有效表达,突破细粒度分析难题。针对上述问题,本文从减少标注成本、减少人工先验、提高辨识速度、提高语义 关联四个方面展开辨识性特征学习研究,并分别应用于细粒度图像分类和细粒度跨媒 体检索任务。主要工作总结如下:

  1. 在减少标注成本上,提出了基于对象-部件注意力模型的细粒度图像分类方法。在对象级注意力上,提出注意力选择和显著性提取,自动定位对象区域,学习更 精细的对象特征。在部件级注意力上,提出空间关联约束和部件语义对齐,实现 辨识性部件的有效定位,排除了姿态、视角等差异的干扰。两者结合能够学习 到多粒度的辨识性特征,准确率超过了使用对象、部件人工标注的强监督方法。

  2. 在减少人工先验上,提出了基于堆叠式深度强化学习的细粒度图像分类方法。首 先,层次化地定位图像中的多粒度辨识性区域,并自适应地确定其数目。然后, 通过多尺度区域的定位及辨识性特征学习,进一步提升细粒度图像分类准确率。学习过程由语义奖励函数驱动,能够有效捕捉图像中的辨识性、概念性的视觉 信息,实现弱监督甚至无监督条件下的辨识性特征学习。

  3. 在提高辨识速度上,提出了基于弱监督快速辨识定位的细粒度图像分类方法。首 先,提出多级注意力引导的辨识性定位,通过显著图生成伪监督信息,实现了 弱监督条件下的辨识性定位。进一步显著图驱动二次定位学习,增强了定位的 准确性。然后,提出多路端到端辨识性定位网络,实现多个辨识性区域的同时 定位,从而提高了辨识速度。多个辨识性区域之间互补促进,提升细粒度图像 分类准确率。

  4. 在提高语义关联上,引入文本、视频、音频等跨媒体数据,提出了基于细粒度 分类的跨媒体检索方法。建立了首个包含 4 种媒体类型(图像、文本、视频和 音频)的细粒度跨媒体检索公开数据集和评测基准 PKU FG-XMedia。提出了能 够同时学习 4 种媒体统一表征的深度模型 FGCrossNet,确保统一表征的辨识性、 类内紧凑性和类间松散性。实现图像向跨媒体的扩展,分类向检索的扩展。

成为VIP会员查看完整内容
0
10
小贴士
相关VIP内容
专知会员服务
23+阅读 · 3月29日
专知会员服务
20+阅读 · 3月14日
专知会员服务
20+阅读 · 2月16日
专知会员服务
24+阅读 · 1月31日
专知会员服务
10+阅读 · 2020年12月10日
专知会员服务
22+阅读 · 2020年12月6日
专知会员服务
50+阅读 · 2020年11月15日
【自动化学报】零样本学习研究进展,中国石油大学
专知会员服务
70+阅读 · 2020年1月27日
【综述】智能医疗综述,48页论文详述医学AI最新进展
专知会员服务
31+阅读 · 2019年9月1日
相关论文
Venkata Vamsikrishna Meduri,Abdul Quamar,Chuan Lei,Vasilis Efthymiou,Fatma Ozcan
0+阅读 · 5月2日
Shuai Lin,Pan Zhou,Xiaodan Liang,Jianheng Tang,Ruihui Zhao,Ziliang Chen,Liang Lin
11+阅读 · 2020年12月22日
Jingqing Zhang,Yao Zhao,Mohammad Saleh,Peter J. Liu
12+阅读 · 2020年6月2日
Arvind Neelakantan,Semih Yavuz,Sharan Narang,Vishaal Prasad,Ben Goodrich,Daniel Duckworth,Chinnadhurai Sankar,Xifeng Yan
5+阅读 · 2019年10月31日
Prithviraj Ammanabrolu,Ethan Tien,Wesley Cheung,Zhaochen Luo,William Ma,Lara J. Martin,Mark O. Riedl
3+阅读 · 2019年9月8日
Xuelong Li,Hongli Li,Yongsheng Dong
5+阅读 · 2019年7月29日
Yongqin Xian,Saurabh Sharma,Bernt Schiele,Zeynep Akata
11+阅读 · 2019年3月25日
Deep Learning
Nicholas G. Polson,Vadim O. Sokolov
3+阅读 · 2018年8月3日
Henggang Cui,Gregory R. Ganger,Phillip B. Gibbons
3+阅读 · 2018年3月20日
Xuelin Qian,Yanwei Fu,Wenxuan Wang,Tao Xiang,Yang Wu,Yu-Gang Jiang,Xiangyang Xue
11+阅读 · 2018年1月18日
Top