展开菜单
首页 精品内容 本月促销 装机必备 Windows PDF教程 macOS软件 IOS软件 Android AI 专题
全部分类

当前位置:

首页 > 业界资讯 > 全球首个开源多模态医疗基础模型:人工打分平均超越GPT-4V、支持2D/3D放射影像

全球首个开源多模态医疗基础模型:人工打分平均超越GPT-4V、支持2D/3D放射影像

本文中,上海交大&上海AILab发布RadiologyFoundationModel(RadFM),开源14B多模态医疗基础模型,首次支持2D/3D放射影像输入。论文链接:https://arxiv.org/abs/2308.02463代码链接:https://github.com/chaoyi-wu/RadFMPMC-InlineDataset:https://huggingface.co/datasets/chaoyi-wu/PMC-InlinePMC-CasereportDataset:https:

本文目录
    本文中,上海交大 & 上海 AI Lab 发布 Radiology Foundation Model (RadFM),开源 14B 多模态医疗基础模型,首次支持 2D/3D 放射影像输入。

    全球首个开源多模态医疗基础模型:人工打分平均超越GPT-4V、支持2D/3D放射影像

    • 论文链接:https://arxiv.org/abs/2308.02463
    • 代码链接:https://github.com/chaoyi-wu/RadFM
    • PMC-Inline Dataset:  https://huggingface.co/datasets/chaoyi-wu/PMC-Inline
    • PMC-Casereport Dataset:  https://huggingface.co/datasets/chaoyi-wu/PMC-CaseReport
    • Huggingface Model: https://huggingface.co/chaoyi-wu/RadFM

    研究背景

    GPT4 等一系列大型基础模型的迅猛发展突破了人工智能技术的边界,为众多垂直领域带来了新的发展机遇和挑战。在医学领域,构建强大而全面的基础模型,可以为临床医疗任务提供更为智能、高效的解决方案,为医护人员和患者创造更为优质的医疗体验,开启医学领域技术创新的新篇章。

    然而,当前医学领域的基础模型的构建往往面临着三个方面的挑战:

    • 缺乏用于训练的多模态数据集:由于医学本身的特殊性,医疗任务通常需要处理多模态数据,包括文本信息(电子健康记录,医学报告)、1D 信号(心电图)、2D 影像(超声、X 射线)、3D 影像(CT 或 MRI 扫描)、基因组学等。为了支持医学通用基础模型的训练,大规模多模态数据集的构建十分迫切。
    • 缺乏通用的架构设计:在临床医疗诊断中,常常需要综合考虑多个检查结果来做出全面判断,然而,以往的医疗影像分析工作通常只专注于单一模态和单一任务,需要为每个任务设计不同的架构,难以适应临床综合诊断的需求。医学领域的基础模型需要一个通用的架构,能够有效融合不同模态的信息,从而应对广泛的临床任务。
    • 缺乏有效的基准来评估模型:对模型的临床知识进行基准测试主要依赖于多种任务的数据集,而这些数据集的测试案例数量有限。目前医疗领域尚未建立一个大规模、复杂的基准,可以用于全面衡量医学基础模型在中医疗任务上的性能。

    考虑到上述挑战,研究团队聚焦于构建放射学领域的医学通用基础模型。放射学领域的图像模态种类丰富,影像与报告配对数据也相对较多,且放射学在临床场景中的应用也十分广泛,例如疾病诊断、治疗规划和患者进展监测等等。具体来说,该论文做出了如下技术贡献:

    • 数据上:提供了全新的目前世界上最大规模的医疗多模态数据集 MedMD&RadMD,是首个包含 3D 数据的大规模医疗多模态数据集,含 15.5M 2D 图像和 180k 的 3D 医疗影像。
    • 模型上:开源了 14B 多模态基础模型 RadFM,支持 2D/3D、图像 / 文本混合输入。
    • 测试上:定义了医疗基础模型五大基本任务 —— 模态识别、疾病诊断、医疗问答、报告生成和归因分析,并提供了一个全面的基准——RadBench。

    临床价值

    本文提出的基础模型 RadFM 具有巨大的临床应用意义:

    • 支持三维数据:在实际临床环境中,CT 和 MRI 被广泛使用,大多数疾病的诊断在很大程度上依赖于它们。RadFM 的模型设计能够处理真实的临床成像数据。
    • 多图像输入:合诊断通常需要输入来自各种模态的多影像作为输入,有时甚至需要历史放射图像,因此支持多图像输入 RadFM 能够很好的满足此类临床需求。
    • 交错数据格式:在临床实践中,图像分析通常需要了解患者的病史或背景。交错数据格式允许用户自由输入额外的图像背景信息,确保模型能结合多源信息完成复杂的临床决策任务。

    与现有的所有医学基础模型相比,RadFM 是第一个同时满足上述三点要求的模型,对医疗基础模型投入实际临床应用具有巨大推动作用。

    接下来将从数据、模型、测试三个角度具体介绍原文细节:

    多模态数据 MedMD&RadMD

    研究团队构建了一个当前最大规模的医疗多模态数据集 MedMD,是目前首个包含 3D 数据的大规模医疗多模态数据集,包含 15.5M 2D 图像和 180k 的 3D 医疗影像,也并附带文本描述,例如放射学报告、视觉语言指令或相对应的疾病诊断标签。

    MedMD 涵盖了人体各种放射学模态和解剖区域,横跨 17 个医疗系统,如乳腺、心脏、中枢神经系统、胸部、胃肠道、妇科、血液、头颈部、肝胆、肌肉骨骼、产科、肿瘤、儿科、脊柱、创伤、泌尿和血管,包含超过 5000 种疾病,如下图 1、2、3 所示。此外,研究团队还基于 MedMD, 给出了一个放射学多模态数据集 RadMD。

    全球首个开源多模态医疗基础模型:人工打分平均超越GPT-4V、支持2D/3D放射影像

    图 1: MedMD 数据样例展示全球首个开源多模态医疗基础模型:人工打分平均超越GPT-4V、支持2D/3D放射影像
    图 2: MedMD 各部分数据构成展示

    全球首个开源多模态医疗基础模型:人工打分平均超越GPT-4V、支持2D/3D放射影像

    图 3: RadMD 上模态、2D/3D、Anatomy 分布展示

    模型架构 RadFM

    RadFM 是一个多模态的放射学基础模型,能够将自然语言无缝地与 2D 或 3D 医学扫描相结合,并通过文本输出来解决广泛的医学任务。模型架构如下图 4 所示,研究团队首先在 MedMD 数据集上对该模型进行了预训练,然后在一个经过筛选的数据集 RadMD 上进行视觉指令微调。RadMD 包含 3M 对放射学相关的多模态数据,确保了针对特定领域的微调过程中数据集的高质量和可靠性。

    全球首个开源多模态医疗基础模型:人工打分平均超越GPT-4V、支持2D/3D放射影像

    图 4: RadFM 模型架构。RadFM 首先在大规模的数据集 MedMD 上进行 Pre-training 然后在 RadMD 上进行领域适配。在模型架构上,RadFM 首次支持了 2D 和 3D 自由混合,文本和图像自由混合的输入形式。

    测试基准 RadBench

    为了更好的评估放射学基础模型的性能,研究团队建立了一个全新的、综合性的评估基准,涵盖了五大临床放射任务 —— 模态识别、疾病诊断、医疗问答、报告生成和诊断归因。并与最新的开源多模态模型进行了比较,例如 Med-flamingo(斯坦福团队)和 MedVInT(上海交大 & 上海人工智能实验室)。

    模型结果

    RadBench 上自动评测与人工打分

    研究团队优先考虑了自动的评测指标进行了大规模的比较,另外,考虑到生成任务自动指标不可靠的问题,进一步引入了人工打分。在人工打分上,研究团队还与 OpenAI 发布的 GPT-4V(ision)进行了比较,平均分数超越 GPT-4V,结果如图 5、6 所示。

    全球首个开源多模态医疗基础模型:人工打分平均超越GPT-4V、支持2D/3D放射影像

    图 5:RadFM 在多个任务上与现有多模态医疗模型的对比,右下为人工打分(5 分制)比较

    全球首个开源多模态医疗基础模型:人工打分平均超越GPT-4V、支持2D/3D放射影像

    图 6 RadFM 与各大多模态基础模型的在五大任务上的对比

    全球首个开源多模态医疗基础模型:人工打分平均超越GPT-4V、支持2D/3D放射影像

    图 7 人工打分系统样例展示

    RadFM 结果可视化

    图 9-10 展示了 RadFM 在 Medical VQA 医疗视觉问答任务,放射报告生成任务以及推理诊断任务上的结果。从图中可以看出,该模型能够准确判断图像对应的解剖部位。然而,在具体的异常判断方面,仍然存在一些改进的空间。当模型能够提供正确的影像学特征的情况下,模型的诊断结果也会更加准确,证明了推理诊断的必要性。

    全球首个开源多模态医疗基础模型:人工打分平均超越GPT-4V、支持2D/3D放射影像

    图 8: RadFM 在 Medical VQA 任务上的性能展示

    全球首个开源多模态医疗基础模型:人工打分平均超越GPT-4V、支持2D/3D放射影像

    图 9:RadFM 在报告生成上的性能展示

    全球首个开源多模态医疗基础模型:人工打分平均超越GPT-4V、支持2D/3D放射影像

    图 10:RadFM 在诊断归因上的性能展示

    RadFM 的迁移性

    另外在各大公开的不同任务、不同模态(2D/3D)的 benchmark 上, RadFM 也展示了强大的可迁移性,在多个数据集上超越了现有的 SOTA 模型,结果如图 11:

    全球首个开源多模态医疗基础模型:人工打分平均超越GPT-4V、支持2D/3D放射影像

    图 11:RadFM 在各大 benchmark 上与 SOTA 的对比

    最后 RadFM 还涌现出了对于未见疾病的诊断能力,如图 12 所示:

    全球首个开源多模态医疗基础模型:人工打分平均超越GPT-4V、支持2D/3D放射影像

    图 12:RadFM 在 PadChest 上对于未见类直接诊断的结果,其他多模态基础模型都只能取得随机的预测结果(0.5 ACC)

    局限性

    当前医学基础模型的发展尽管取得了显著进展,却仍存在多方面的局限性,本文作者提出了如下几点方向:

    1. 模型绝对性能。虽然 RadFM 大幅超越了旧有基础模型,但多模态基础模型在零样本情况下的文本生成质量仍未能满足临床医生的期望水平。
    2. 3D 数据缺乏。比较于 2D 数据易于收集,在真实临床中广泛使用的 3D 数据在目前医学数据库中仍旧只是少数。
    3. 评测指标模糊。目前存在一个缺乏令人信服的医学文本质量比对评测指标的问题。传统的翻译指标在医疗场景下几乎失去了意义。例如,对于「病人有肺炎」和「病人无肺炎」两句话,在传统指标下可能获得极高的分数,但这种差异在医疗场景中是不可接受的。相反,「在肺部见肺炎影像特征」与「病人有肺炎」这两句信息几乎一致的话语,在现有指标下反而可能呈现较低的分数。因此,急需建立更符合医学实际需求的评测标准。

    总结

    在当前的医疗领域,已经陆续涌现了一些多模态的基础模型,例如微软的 LLaVA-Med 和谷歌的 Med-PaLM M,包括最新的 Med Flamingo。然而,这些模型都还是受限于 2D 的图像输入,且其中只有最新的 Med Flamingo 可以支持交错的图文输入。在医疗领域中,常见的诊疗影像往往是 3D 的图像,同时,诊疗任务通常需要综合多张图像来作出准确判断。

    为了解决上述问题,研究团队决定将重点放在放射影像领域,提出模型 RadFM,允许同时处理 2D 和 3D 多模态的医疗数据,例如 CT、MRI 等。而且,该模型能够综合处理多张相关影像,提供更全面和准确的信息,有望在诊断和治疗等方面取得更好的效果。同时,针对模型的评估,研究团队综合了多个挑战性的任务提出了一个新的 benchmark 以及更科学的医疗任务评测指标,以此为参考,不断优化数据与模型,欢迎大家持续关注。

    完整论文目录:

    全球首个开源多模态医疗基础模型:人工打分平均超越GPT-4V、支持2D/3D放射影像

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯
    相关文章 更多
    精品专题 更多
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    macOS软件

    正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

    IOS软件

    正软商城iOS软件专区,精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用,提供功能介绍、适用设备、系统要求和正版获取方式等信息。

    AI

    正软商城AI软件专区,汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具,提供功能介绍、适用平台、收费方式及正版购买信息。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    立刻MV 网页版
    立刻MV 网页版

    立刻MV 面向音乐人、内容创作者和品牌团队,帮助用户低成本完成歌曲 MV、歌词视频、AI 分镜、图生视频与最终合成。

    蛙蛙写作 网页版
    蛙蛙写作 网页版

    蛙蛙写作 AI 创作工具,覆盖小说、剧本、文案,一键生成文稿,打通文字转视频全流程,高效解决创作难题。

    超级简历WonderCV 网页版
    超级简历WonderCV 网页版

    超级简历WonderCV是面向应届生和AI小白的智能求职平台,覆盖简历、面试与职业规划。

    音述AI 网页版
    音述AI 网页版

    音述AI,是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区。

    AionClaw macOS版
    AionClaw macOS版

    AionClaw 是可在桌面端运行的任务型 AI 助手,通过数字专家与技能市场组合办公、创作、数据和开发能力。

    Loomy macOS版
    Loomy macOS版

    Loomy 是科大讯飞推出的桌面 AI 助手,可通过对话、任务与工作目录协助处理办公、内容创作和资料整理。

    AirBuddy 3 macOS版
    AirBuddy 3 macOS版

    AirBuddy 3 是面向 macOS 的蓝牙外设增强工具,可集中查看 AirPods、Beats 与苹果设备电量,提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。

    AirServer macOS版
    AirServer macOS版

    AirServer macOS版可把 Mac 转换为无线投屏接收端,通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面,并支持多设备同时连接、高清镜像及会话录制,适合家庭娱乐、课堂教学、会议演示和应用展示。

    AnyDesk macOS版
    AnyDesk macOS版

    AnyDesk macOS版是一款适用于远程办公、设备维护和客户支持的远程桌面工具,可连接并操作异地计算机,支持文件传输、无人值守访问、会话权限控制及跨平台协作。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    讯飞绘文 网页版
    讯飞绘文 网页版

    讯飞绘文网页版是科大讯飞推出的AI图文创作与内容运营工具,覆盖热点选题、文章生成、稿件校对、智能配图、排版发布和数据复盘等环节,适合自媒体创作者及内容团队在线使用。

    Maya(Autodesk Maya) Windows版
    Maya(Autodesk Maya) Windows版

    Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件,集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体,

    Aperty Windows版
    Aperty Windows版

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    立刻MV 网页版
    立刻MV 网页版

    立刻MV 面向音乐人、内容创作者和品牌团队,帮助用户低成本完成歌曲 MV、歌词视频、AI 分镜、图生视频与最终合成。

    蛙蛙写作 网页版
    蛙蛙写作 网页版

    蛙蛙写作 AI 创作工具,覆盖小说、剧本、文案,一键生成文稿,打通文字转视频全流程,高效解决创作难题。

    超级简历WonderCV 网页版
    超级简历WonderCV 网页版

    超级简历WonderCV是面向应届生和AI小白的智能求职平台,覆盖简历、面试与职业规划。

    音述AI 网页版
    音述AI 网页版

    音述AI,是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区。

    AionClaw Windows版
    AionClaw Windows版

    AionClaw 是可在桌面端运行的任务型 AI 助手,通过数字专家与技能市场组合办公、创作、数据和开发能力。

    Loomy Windows版
    Loomy Windows版

    Loomy 是科大讯飞推出的桌面 AI 助手,可通过对话、任务与工作目录协助处理办公、内容创作和资料整理。