许多临床任务需要理解专业数据,如医学影像和基因组数据,这些数据通常不包含在通用的大型多模态模型中。基于双子星的多模态模型,我们开发了新的Med-Gemini系列模型,这些模型继承了双子星的核心能力,并通过与2D和3D放射学、组织病理学、眼科、皮肤科和基因组数据的微调,为医疗用途进行了优化。Med-Gemini-2D为基于专家评估的AI驱动的胸部X光(CXR)报告生成树立了新标准,其在两个独立数据集上的表现超过了之前的最佳结果,绝对优势分别为1%和12%,其中57%和96%的AI报告在正常案例中,以及43%和65%的AI报告在异常案例中,被评估为“与原始放射科医师的报告相当或更好”。我们展示了首个基于大型多模态模型的3D计算机断层摄影(CT)体数据报告生成,使用Med-Gemini-3D,53%的AI报告被认为在临床上可接受,尽管还需要进一步的研究以达到专家放射科医师的报告质量。在报告生成之外,Med-Gemini-2D在胸部X光视觉问答(VQA)中超越了之前的最佳表现,并在胸部X光分类和放射科VQA中表现良好,超越了20个任务中的17个的现有技术或基准。在组织病理学、眼科和皮肤科影像分类中,Med-Gemini-2D在20个任务中的18个超越了基线,接近特定任务模型的表现。在影像学之外,Med-Gemini-Polygenic在疾病风险预测中超过了标准的线性多基因风险评分方法,并能推广到从未训练过的基因相关疾病。尽管在关键医疗领域需要进一步的开发和评估,我们的结果突显了Med-Gemini在广泛的医疗任务中的潜力。

https://www.zhuanzhi.ai/paper/bc65b01ad1b8e0ddec8f98eac621daa7

成为VIP会员查看完整内容
27

相关内容

2023年12 月 6 日,谷歌 CEO 桑达尔・皮查伊官宣 Gemini 1.0 版正式上线。这次发布的 Gemini 大模型是原生多模态大模型,是谷歌大模型新时代的第一步,它包括三种量级:能力最强的 Gemini Ultra,适用于多任务的 Gemini Pro 以及适用于特定任务和端侧的 Gemini Nano。
【NeurIPS2023】多样化的时空感知用于视频域泛化
专知会员服务
20+阅读 · 2023年10月30日
【ICML2023】多任务分层对抗逆强化学习
专知会员服务
21+阅读 · 2023年5月25日
大模型如何赋能医学?全科医学人工智能基础模型
专知会员服务
82+阅读 · 2023年4月13日
多模态深度学习
专知会员服务
133+阅读 · 2023年1月15日
【NeurIPS2022】SparCL:边缘稀疏持续学习
专知会员服务
23+阅读 · 2022年9月22日
DARPA可解释人工智能
专知会员服务
127+阅读 · 2020年12月22日
时空数据挖掘:综述
专知
24+阅读 · 2022年6月30日
【AI与医学】多模态机器学习精准医疗健康
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
Pytorch多模态框架MMF
专知
49+阅读 · 2020年6月20日
万字长文概述NLP中的深度学习技术
全球人工智能
12+阅读 · 2019年2月28日
深度学习人脸识别系统DFace
深度学习
17+阅读 · 2018年2月14日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
37+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2013年12月31日
Arxiv
158+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
405+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2023年3月26日
Arxiv
145+阅读 · 2023年3月24日
Arxiv
21+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【NeurIPS2023】多样化的时空感知用于视频域泛化
专知会员服务
20+阅读 · 2023年10月30日
【ICML2023】多任务分层对抗逆强化学习
专知会员服务
21+阅读 · 2023年5月25日
大模型如何赋能医学?全科医学人工智能基础模型
专知会员服务
82+阅读 · 2023年4月13日
多模态深度学习
专知会员服务
133+阅读 · 2023年1月15日
【NeurIPS2022】SparCL:边缘稀疏持续学习
专知会员服务
23+阅读 · 2022年9月22日
DARPA可解释人工智能
专知会员服务
127+阅读 · 2020年12月22日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
37+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2013年12月31日
微信扫码咨询专知VIP会员