The advancement of artificial intelligence in oral healthcare relies on the availability of large-scale multimodal datasets that capture the complexity of clinical practice. In this paper, we present a comprehensive multimodal dataset, comprising 8775 dental checkups from 4800 patients collected over eight years (2018-2025), with patients ranging from 10 to 90 years of age. The dataset includes 50000 intraoral images, 8056 radiographs, and detailed textual records, including diagnoses, treatment plans, and follow-up notes. The data were collected under standard ethical guidelines and annotated for benchmarking. To demonstrate its utility, we fine-tuned state-of-the-art large vision-language models, Qwen-VL 3B and 7B, and evaluated them on two tasks: classification of six oro-dental anomalies and generation of complete diagnostic reports from multimodal inputs. We compared the fine-tuned models with their base counterparts and GPT-4o. The fine-tuned models achieved substantial gains over these baselines, validating the dataset and underscoring its effectiveness in advancing AI-driven oro-dental healthcare solutions. The dataset is publicly available, providing an essential resource for future research in AI dentistry.


翻译:人工智能在口腔医疗领域的发展依赖于能够捕捉临床实践复杂性的大规模多模态数据集。本文提出了一个综合性的多模态数据集,包含在八年(2018-2025)间从4800名患者收集的8775次牙科检查记录,患者年龄范围为10至90岁。该数据集包含50000张口内图像、8056张放射影像以及详细的文本记录,涵盖诊断、治疗计划和随访笔记。数据收集遵循标准伦理准则,并已标注用于基准测试。为展示其应用价值,我们对先进的大型视觉语言模型Qwen-VL 3B和7B进行了微调,并在两项任务上进行了评估:六类口腔牙科异常的分类,以及基于多模态输入生成完整诊断报告。我们将微调后的模型与其基础版本及GPT-4o进行了比较。微调模型相较于这些基线取得了显著提升,验证了数据集的有效性,并突显了其在推动人工智能驱动的口腔牙科医疗解决方案方面的重要作用。该数据集已公开提供,为未来人工智能牙科研究提供了关键资源。

0
下载
关闭预览

相关内容

数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
Data set(或dataset)是一个数据的集合,通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量,如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数,该数据集的数据可能包括一个或多个成员。
专门化大型语言模型综述
专知会员服务
33+阅读 · 8月28日
【ICMR2020】持续健康状态接口事件检索
专知会员服务
18+阅读 · 2020年4月18日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员