1月10日下午，由中国计算机学会（CCF）主办，中国计算机学会青年计算机科技论坛杭州分论坛（CCF YOCSEF杭州）组织，全省医学影像人工智能重点实验室支持的“多模态医学大模型大一统，‘路’在何方”技术论坛（论坛编号：CCF-YO-25-103）在杭州华星时代广场北高峰科学家会客厅成功举办。
本次论坛由CCF YOCSEF杭州AC委员刘佐珠和副主席胡珂立共同担任执行主席。论坛充分发挥国际化和产学研结合特色，邀请上海交通大学长聘轨副教授谢伟迪、香港大学助理教授于乐全、谢菲尔德大学助理教授陈晨担任引导嘉宾，浙江省肿瘤医院主任医师韩卫东、蚂蚁集团医疗大模型负责人王剑、西湖大学特聘研究员王欢担任特邀嘉宾。论坛汇聚了来自浙江大学、上海交通大学、香港大学、谢菲尔德大学、西湖大学等海内外高校专家学者，来自蚂蚁、阿里、腾讯、和仁等科技企业专家，以及来自浙江大学医学院附属第一医院、附属邵逸夫医院、附属妇产科医院、附属口腔医院等医疗机构专家，邸欣晨（YOCSEF总部AC）、何云飞（YOCSEF合肥候任主席）、杨胜利（YOCSEF苏州委员）等嘉宾到场思辨，累计超过60人参会。
当前，“AI+医疗”正迈入技术与场景深度融合的爆发期。医学诊疗全流程通常需融合影像、电子病历、信号、组学等多源数据信息，以实现可信、可用的临床决策。当前通用多模态医学大模型基座或专科智能体的构建，在数据组织、模型训练、评估体系等方面仍面临诸多挑战，应用价值相对局限。为此，本论坛聚焦下一代医学多模态大模型和智能体构建，从应用场景出发，探讨当前面临的核心技术挑战和潜在解决方案，为医学AI高质量发展提供具象化的解题思路。
全体参会人员合影
论坛现场
论坛伊始，执行主席刘佐珠与胡珂立首先代表主办方向与会嘉宾致以热烈欢迎，详细介绍了CCF YOCSEF“承担社会责任、提升成员能力”的文化理念，并系统阐述了本次论坛的选题初衷与核心议题。执行主席特别强调，本次论坛之所以命名为“‘路’在何方”，正是希望跳出技术堆叠和榜单竞赛的“表面繁荣”，回归医学价值本身，通过汇聚产学研医的多方视角，深度剖析当前医学大模型和智能体发展的应用场景、技术挑战和解决路径。
执行主席刘佐珠和胡珂立
引导发言
在引导发言环节，三位来自海内外顶尖学府的青年学者分别从医学智能体构建、病理数据知识融合、资源受限下的可信计算三个维度，为现场观众带来了极具前瞻性的报告。
一、 基于多智能体的通用医疗系统
谢伟迪作引导发言
谢伟迪系统阐述了迈向多智能体的医学通用模型的路线与挑战。他首先回顾了通用医学模型在多模态数据与跨任务迁移中的现状与局限，随后提出多智能体协作框架：由诊断、治疗建议、影像解读与知识校验等专长代理组成，通过角色分工、协作协议与争端解析实现可解释、稳健与可溯源的临床推理。他指出，当前的医学AI模型大多仍停留在“看图说话”的直觉反应阶段，缺乏类似人类医生的逻辑推理与多步规划能力。他提出，医学通用智能体将是下一代医学AI的核心，其不仅需要具备多模态数据的理解能力，更需拥有“主动感知”的特性—即像医生一样，在信息不足时懂得主动发起询问或调用工具获取新数据。谢伟迪展示了其团队在构建具备自主决策能力的医疗Agent如DeepRare等方面的最新探索，旨在弥合通用人工智能的进展与医疗应用之间的差距，为医疗领域提供更加健壮和多功能的人工智能解决方案。
二、 多模态人工智能赋能知识增强的计算病理学
于乐全作引导发言
于乐全介绍了国内外计算病理学发展情况，系统阐述了如何融合医学知识与生物学上下文，有效提升病理图像分析的深度与广度，并指出其将重塑传统癌症诊疗模式。为此，他分享了利用多模态知识增强的破局之道：引入医学视觉知识和文本知识，通过概念学习、知识引导和分子信息预测等技术方案，显著增强了其在多种癌症任务中的泛化能力与临床适用性。他还介绍了直接从常规组织切片中解析细胞层级的表型信息，为刻画肿瘤微环境和预测患者预后提供了一种低成本、高效率的替代方案。此外，他分享了数字孪生、虚拟细胞和多智能体医学AI的前沿思考，指出人工智能系统融合生物知识加速演进的重要趋势。
三、 Limited Resources, Unlimited Impact: Multimodal AI for Healthcare
陈晨作引导发言
陈晨针对医疗数据虽海量存在但可用性却受限、医疗和算力资源分布不均等现实困境，阐述了生成模型和多模态模型如何助力医疗AI增益的路径。她并未盲目追求模型参数的无限扩张，而是将目光投向了“资源受限”场景下的高效解决方案。陈晨重点介绍了生成模型如何助力实现更稳健的医学影像分割，多模态学习如何在数据稀缺时增强单模态分析，以及如何设计在缺失模态时仍能正常工作的模型。她从标注受限（Annotation）、人群/数据受限（Population）、上下文受限（Context）多个维度对高效、可信的医学计算进行了深入浅出的分析，并指出医学AI在国际化发展、不均衡资源情境下的发展挑战，提出要迈向以真实部署为中心的多模态医学智能。
执行主席为引导嘉宾颁发感谢牌
思辨环节
引导发言后，与会嘉宾围绕三大核心议题，对医学大模型和智能体的应用场景、技术挑战及解决方案进行了层层递进的剖析，直面行业深水区的真实痛点与破局之道。
思辨议题一：【应用场景】“多模态医学大模型及智能体最值得期待的落地场景有哪些？与通用大模型相比，医学大模型的能力边界在哪里？”
围绕多模态医学大模型与智能体临床应用，与会多方展开深入辨析，核心观点如下：
一、亟待突破的核心应用场景
l 临床诊疗全流程辅助场景：诊断环节落地最扎实，尤其影像识别可辅助定位病灶、减少漏诊（需医生复核）等；治疗环节聚焦新药研发等方向，潜力显著但难度高；AI可承接院外随访、健康咨询等交互任务，缓解医生压力。
l 医疗资源均衡赋能场景：针对基层与省城医疗差距，国际化医疗资源分布不均等情况，通过模型规模化输出优质医疗经验，赋能基层医生处理罕见病、提升常见病症诊断准确性，提供更加普惠的医疗服务。
l 医学教育与实操辅助场景：开发AI模拟教学工具辅助医学生实操；优化临床检查流程，降低患者痛苦与医疗成本。
l 预防与健康管理场景：担任家庭健康顾问，提供预防知识、规避虚假信息；辅助收集慢性病患者院外数据，支撑科研，形成全流程管理。
二、临床应用的核心痛点与挑战
l 数据层面：跨机构共享难、格式不统一，尚未形成有效的数据要素流通机制；预防和治疗数据缺失，公开数据存在偏倚，真实场景与实验室数据效能仍有差距。
l 技术层面：当前AI在辅助诊断方面容易形成突破，但是在预防、治疗、预后等方面技术成熟度较低，一方面受限于因果推理和多模态处理技术挑战，另一方面也受限于资本投入和市场驱动。
l 应用层面：如何在政府、医院、医生、病人等多重角色中找到可落地的商业模式仍是核心挑战；国内外的医疗体系、付费意愿等存在显著差异。
思辨议题二：【技术挑战】“构建下一代更强大的多模态医学通用/专用大模型及智能体的核心技术挑战有哪些？”
围绕构建下一代多模态医学通用/专用大模型及智能体的核心技术挑战，与会专家从数据组织、模型架构、训练范式三大核心维度展开深入辨析，形成以下核心观点：
一、数据组织层面
l 大规模数据共享难：国内缺乏类似TCGA、UKBioBank等类型和体量的大规模公开数据集，随着国际上数据合规管控愈发严格，将对相关技术发展带来制约。
l 数据合成泛化弱：合成数据可以提高模型性能，但可能存在对真实临床场景泛化不足的风险，需要根据真实场景需求来探讨合成数据的价值。
l 隐私合规严苛：医疗多模态数据敏感、共享受限，高质量数据稀缺，通用多模态模型在严肃医疗场景的适配性仍然不足。
二、模型架构层面
l 多模态协同：现有视觉-语言架构在医学方面仍然存在对齐和冲突难题，原生多模态、统一理解生成模型尚处学术阶段，短期难落地；在医学、生物学知识、多组学数据等方面的整合仍处于初步阶段。
l 通专能力协同：当前开源的多模态通用和医学大模型在数据和能力层面的scaling仍有较大提升空间，伴随着万亿开源模型的出现，通专模型之间的融合和能力适配将会进一步被更新。
三、训练范式层面
l 医疗语料适配难：基于通用模型的持续预训练或后训练仍是主流技术范式，如何在通用基座模型上有效注入独特且高质量的医疗语料是性能提升的关键，在独特、高质量医疗语料获取和构建、数据配比控制方面仍有很高要求。
l 训练路径和资源受限：通用基模增量训练仅大企业可承担，高效训练范式缺乏。同时，如何在当前的医疗体系下挖掘具有价值的预训练和后训练新数据源仍是挑战。
思辨议题三：【解决方案】“如何有效链接产学研医资源，攻克下一代医学大模型及智能体构建的关键技术挑战，实现可信、可用的医学AI决策？”
围绕“如何链接产学研医及政府资源，解决医疗AI技术难点与场景落地”核心议题，与会专家从多方协同、数据突破、人机协同、政策支撑与商业化等关键维度，形成以下核心观点：
一、多方资源协同：核心在于利益匹配与闭环运营
l 跨主体协同是关键：医疗AI落地非单一主体可完成，需产学研医多方“拼图”协作，核心是精准匹配各方利益诉求与痛点，形成资源互补。
l 需构建可持续闭环：大模型训练是持续投入过程，协同后需建立长效运营闭环，保障资源持续流转与价值迭代；政府/行业协会应牵头制定规范标准，明确各方权责边界，破解利益分配难题。
二、数据壁垒突破：多维探索合规共享与价值转化
l 核心痛点：医疗数据隐私敏感，医院因风险顾虑不愿共享；跨机构数据标准不统一，清洗转化为模型可用数据工作量极大；多数医院当前缺乏算力支撑。
l 可行路径：探索可信数据空间、去中心化等模式获取数据；推动“以数据养医”，让医生诊疗过程同步产生标注数据与思维链；国家牵头建设大规模共享数据库，探索参数空间突破数据壁垒，或采用数据不出院、远程访问的隔离计算模式。
l 学术界变通方案：可通过互联网数据验证技术，再与医院合作进行零样本外部验证，规避直接获取院内数据的难题。
三、人机协同落地：聚焦复杂决策与用户体验优化
l 规避AI依赖风险：初级医生易过度依赖AI导致决策能力退化，需构建分层决策系统，由资深人员把控最终决策，提升诊疗精度。
l 强化交互设计：针对医疗复杂决策场景，优化人机交互范式，清晰呈现AI建议与人类判断的对比及关联，帮助医生快速抓取关键信息。
l 拓展民生场景：探索AI辅助医学报告解读，用通俗语言帮助患者理解专业术语，优化医患沟通。
四、政策与商业化：破解认证瓶颈与可持续模式
l 优化认证流程：医疗AI验证周期长，需推动监管认证与技术发展同步，缩短AI医疗产品认证时间，提升认证效率。
l 破解商业化困境：需跳出炫技思维，聚焦医生实际痛点，挖掘可持续商业价值，确保AI算法精准匹配医疗实际需求。
执行主席为特邀嘉宾颁发感谢牌
论坛总结
况琨作总结发言
最后，YOCSEF杭州主席况琨为本次技术论坛作总结发言。他高度肯定了论坛成效。他指出，医学大模型的“大一统”之路绝非单纯的算法竞赛，而是一场涉及数据治理、技术研发与生产关系变革的系统工程，CCF YOCSEF杭州将继续扮演技术雷达与生态连接器的角色，持续关注医学人工智能领域的深水区挑战，推动“计算”与“医疗”的深度双向奔赴，为构建真正可信、可用、普惠的下一代医学智能体贡献力量。
历时四个多小时的高密度研讨在热烈掌声中落下帷幕。参会专家通过跨学科的深度思辨，从技术和场景层面探讨了多模态医学大模型和智能体“要做什么” 与 “能做什么” 的能力边界和发展趋势。通过三个思辨议题的深度思考，明确了多模态医学大模型和智能体在数据组织（大规模、高质量、复杂推理数据稀缺，数据合成与泛化能力）、模型架构（视觉语言统一理解、理解生成双向赋能）和训练范式（持续学习、长程决策）等方面的前沿发展和技术挑战，探讨了在医学公开数据和模型层面进行开源创新的发展动力和潜在难点，并结合国家有关政策和国际技术趋势，探讨了学术界和产业界在未来发展中可以起到的不同角色和发力方向。本次论坛的思辨火花，不仅为下一代医学大模型和智能体研究提供了技术思路，也将为形成更加智能、普惠的医疗服务新生态注入重要动力。
京公网安备 11010802032778号