【Nature. Mach. Intell. 】通过图像和自由文本的放射学报告之间的交叉监督的广义射线图表示学习

近日，厦门大学王连生老师课题组在Nature机器智能子刊Nature Machine Intelligence发表论文《Generalized Radiograph Representation Learning via Cross-supervision between Images and Free-text Radiology Reports》，提出了一种不需要标注的放射影像预训练方法。

近些年来，基于深度学习的方法在放射影像分析中取得了很好的效果，而预训练是取得这些成果的基础。预训练方法期望获得迁移性更好的图像表征，以往的预训练通过在源域上进行大规模全监督或者自监督学习来达到目的。但是，全监督的预训练需要图像的标签，制作标签是一个费时费力的工程，而自监督学习目前与全监督还有一定的差距。为了解决这个重要问题，论文提出一种交叉监督的方法：REFERS（Reviewing FreE-text Reports for Supervision，REFERS），该方法使用放射影像自带的影像报告来作为监督信息进行预训练。REFERS使用transformer可以同时处理患者的多张放射影像，从而获得更加全面的信息。

论文的实验结果表明，REFERS的性能不但优于其他迁移学习和自监督学习的方法，甚至超过了使用人工标签进行全监督得到的预训练模型。论文认为REFERS有很大的潜力可以取代以前的预训练方法。

上述工作由王连生老师及其课题组成员陈潇宇、张英豪，以及香港大学Yizhou Yu教授团队合作完成。王连生老师担任第一通讯作者，硕士生陈潇宇、张英豪担任共同第一作者。

论文链接：https://www.nature.com/articles/s42256-021-00425-9

参考链接： https://nidshm.xmu.edu.cn/info/1012/1622.htm