Automatically generating radiology reports can improve current clinical practice in diagnostic radiology. On one hand, it can relieve radiologists from the heavy burden of report writing; On the other hand, it can remind radiologists of abnormalities and avoid the misdiagnosis and missed diagnosis. Yet, this task remains a challenging job for data-driven neural networks, due to the serious visual and textual data biases. To this end, we propose a Posterior-and-Prior Knowledge Exploring-and-Distilling approach (PPKED) to imitate the working patterns of radiologists, who will first examine the abnormal regions and assign the disease topic tags to the abnormal regions, and then rely on the years of prior medical knowledge and prior working experience accumulations to write reports. Thus, the PPKED includes three modules: Posterior Knowledge Explorer (PoKE), Prior Knowledge Explorer (PrKE) and Multi-domain Knowledge Distiller (MKD). In detail, PoKE explores the posterior knowledge, which provides explicit abnormal visual regions to alleviate visual data bias; PrKE explores the prior knowledge from the prior medical knowledge graph (medical knowledge) and prior radiology reports (working experience) to alleviate textual data bias. The explored knowledge is distilled by the MKD to generate the final reports. Evaluated on MIMIC-CXR and IU-Xray datasets, our method is able to outperform previous state-of-the-art models on these two datasets.


翻译:自动生成放射学报告可以改善目前诊断放射学的临床实践。 一方面,它可以让放射学家减轻撰写报告的沉重负担;另一方面,它可以提醒放射学家注意异常情况,避免错误诊断和误差诊断。然而,由于严重的视觉和文字数据偏差,这一任务仍然是数据驱动神经网络的一项艰巨任务。 为此,我们提议采用“ 波塞利奥和主要知识探索和蒸馏”方法(PPPKKED)来模仿放射学家的工作模式,他们首先检查异常区域,将疾病专题标记分配给异常区域,然后依靠以往医学知识年数和以往工作经验积累来撰写报告。 因此,PPPKKED包括三个模块:Posideal Knownal Introledge (PrKE) 和多多多面知识探索IKD(MKD) 。 详细来说, PoKESerge 能够探索远端知识,提供明显异常的视觉区域以缓解视觉数据偏差;PrKE探索以往的MIC方法,从先前数据分析方法,从这些以往数据流学系到以往数据流数据流流数据流学,这些前数据流数据流学经验为流数据流数据流数据流、流学、流数据流、流学、流学、流学、流学、流学、流学、流、流学、流学、流学、流学前数据流学、流、流学、流学、流学、流学、流学、流、流学、流学、流学、流、流、流、流、流学、流学、流学、流学、流学、流学、流学、流学、流学、流学、流学、流学、流学、流学、流学、流学、流学、流学、流学、流、流、流、流、流、流、流、流、流、流、流学、流学、流学、流学、流学、流学、流学、流学、流学、流学、流、流、流、流、流、流、流、流、流、流、流、流、流、流学、流学、流学、流学、流学、流学、流学、流、流、流、流、

0
下载
关闭预览

相关内容

专知会员服务
51+阅读 · 2021年6月14日
专知会员服务
95+阅读 · 2021年3月20日
因果图,Causal Graphs,52页ppt
专知会员服务
238+阅读 · 2020年4月19日
图卷积神经网络蒸馏知识,Distillating Knowledge from GCN
专知会员服务
94+阅读 · 2020年3月25日
17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
167+阅读 · 2020年2月13日
17篇必看[知识图谱Knowledge Graphs] 论文@AAAI2020
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
CVE-2018-7600 - Drupal 7.x 远程代码执行exp
黑客工具箱
14+阅读 · 2018年4月17日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Arxiv
99+阅读 · 2020年3月4日
Arxiv
7+阅读 · 2018年3月21日
VIP会员
相关资讯
17篇必看[知识图谱Knowledge Graphs] 论文@AAAI2020
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
CVE-2018-7600 - Drupal 7.x 远程代码执行exp
黑客工具箱
14+阅读 · 2018年4月17日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Top
微信扫码咨询专知VIP会员