“告别‘纯数据驱动’:多模态医学影像大模型的物理与知识融合之路”技术论坛
2026-11-17 阅读量:0 小字

2026年11月7日下午,CCF YOCSEF兰州学术委员会在甘肃海丰信息科技有限公司举办主题为“告别‘纯数据驱动’:多模态医学影像大模型的物理与知识融合之路”的技术论坛。论坛由CCF YOCSEF兰州AC学术秘书付钰(兰州大学)和AC副主席任卓(兰州东羽信息系统工程有限责任公司)担任执行主席。来自上海交通大学、兰州大学、甘肃省人民医院、哈尔滨工业大学、兰州财经大学、西北师范大学等单位的专家学者,围绕物理机理与医学知识的融合、模型在不同临床场景中的可靠性与安全性、算力和成本受限条件下的模型部署等议题展开交流,共同探讨多模态医学影像大模型从实验室走向临床应用的可行路径。

在甘肃,重离子治疗、硼中子俘获治疗(BNCT)等放射治疗技术的发展,对医学影像分析的准确性与可靠性提出了更高要求。当成像设备、采集条件或患者群体发生变化时,主要依赖数据训练的模型可能出现性能下降,其判断依据也未必易于临床医生理解。本次论坛立足当地核医疗研究与应用需求,探讨如何将成像物理规律和医生的判读经验融入模型设计,以及如何在真实临床场景中验证模型的表现。

IMG_20261107_140148

图1 论坛现场

论坛伊始,执行主席付钰、任卓介绍了本次论坛的主题、引导嘉宾和特邀嘉宾,并说明了CCF YOCSEF倡导的论坛文化。两位执行主席鼓励与会者在讨论中直呼其名、平等交流,结合各自在模型研发、医学影像分析和临床诊疗中的实际经验,就具体问题直接提问、充分讨论。随后,论坛进入引导发言环节。

引导发言

本次论坛邀请四位嘉宾作引导发言,分别围绕无创脑调控、离子放疗中的在束PET图像重建与剂量预测、人工智能辅助核医学精准诊疗,以及医学先验知识驱动的图像分割等四个方向,分享研究进展与临床应用思考,为后续思辨讨论奠定多元基础。

上海交通大学医学院松江研究院研究员王杰以“无创脑调控的应用及机制探索”为题作首场引导发言。他从结构磁共振成像在病灶筛查中的应用切入,介绍了脑影像如何为干预靶点的定位提供解剖依据。围绕靶向治疗,他进一步探讨了无创脑调控面临的一个难题:如何使外部刺激准确作用于深部目标脑区,调节其中的神经元活动,同时减少对周围脑组织的影响。

IMG_20261107_140621

图2 王杰作引导发言

结合疼痛感知与认知加工,王杰进一步探讨了刺激深部脑区可能改变疼痛体验的神经机制。人对疼痛的体验既包括对疼痛部位和强度的辨别,也涉及注意、情绪等因素,多个脑区共同参与这一过程。因此,要理解靶向刺激的作用,既要观察目标脑区及相关神经环路在刺激前后发生了哪些变化,也要结合个体对疼痛强度和不适程度的评价。将脑活动变化与主观体验联系起来,有助于理解哪些神经环节参与了疼痛调节,也为选择干预靶点和评价调控效果提供了研究思路。

兰州大学核能与核技术研究所所长尹永智围绕“离子放疗中的在束PET图像重建与剂量预测”作引导发言。他从离子放疗需要回答的两个问题切入:离子束在靶体中到达了多深,剂量是否沉积在预定位置。离子束轰击靶体时,核反应会产生发射正电子的核素,在束正电子发射断层成像(PET)可以记录这些核素在靶体内的空间分布。结合蒙特卡罗仿真与束流实验,尹永智介绍了团队如何分析正电子核素沿束流方向的分布特征,对照PET图像峰位与剂量峰位之间的位置差异,进而利用可观测的影像信号推断束流射程,为核验剂量沉积位置提供物理依据。

IMG_20261107_143155

图3 尹永智作引导发言

针对在束PET图像重建中出现的畸变,尹永智分享了团队将物理仿真与机器学习相结合的校正方法。团队将蒙特卡罗仿真结果与实验测量数据配对,用于训练图像校正模型,并展示了展宽布拉格峰(SOBP)区域的PET图像恢复效果。随后,他以碳离子束轰击等效水体靶的实验为例,介绍了利用在束PET开展射程验证与剂量比对的结果。在该实验条件下,单能束射程误差在2毫米以内,长时间测量的剂量偏差小于1%。这一案例也回应了论坛关于物理机理如何融入影像算法的讨论:从解释PET信号与剂量沉积的关系,到用实测数据检验预测结果,物理模型与束流实验贯穿了图像重建和剂量验证的全过程。

甘肃省人民医院PET中心主任王治民以“数智核医·融创未来——人工智能赋能核医学精准诊疗创新发展”为题作引导发言,从临床阅片的实际需求出发,探讨了人工智能在核医学诊疗中的应用。以PET/CT检查为例,PET能够显示放射性示踪剂在体内的分布,CT则为判断摄取部位提供解剖参照。同样是图像上的一处高摄取,其临床意义可能因所在部位、示踪剂特性和患者病史而异。如何将这些信息结合起来,帮助医生发现可疑病灶、理解影像表现,是人工智能辅助核医学诊断需要回答的问题。

IMG_20261107_145157

图4 王治民作引导发言

从一次检查中的病灶识别,到多次检查之间的疗效评估,核医学对模型的要求也随之变化。以治疗前后的影像对照为例,医生既要确认两次检查中观察的是同一处病灶,也要结合病灶大小、形态和示踪剂摄取的变化作出判断。在这一过程中,人工智能可以辅助匹配病灶、提取定量指标,并将变化对应到原始影像,供医生复核。王治民的发言也为后续讨论引出了一个临床问题:当不同设备、不同检查条件影响影像表现时,如何判断模型提示的变化是否真实反映病情,使分析结果能够为诊断和疗效评价提供可靠依据。

哈尔滨工业大学人工智能学院副研究员李向宇以“多源医学先验驱动的图像分割方法研究——从结构、分布到血流动力学”为题作引导发言。他以脑胶质瘤分割为例,介绍了如何将医生判读磁共振影像时所依据的解剖知识融入模型设计。结合现场展示的肿瘤子区示意图,他从内到外梳理了各子区的层次关系:坏死及非增强区与增强肿瘤区共同构成肿瘤核心,将核心周围的水肿区域纳入后,才得到影像分割所关注的完整病变范围。不同磁共振序列对这些子区的敏感性各有差异,医生需要对照多个序列,才能较为完整地勾画病灶。将这种判读思路用于图像分割,模型便可以结合不同序列提供的信号辨识各个子区,并依据子区之间的包含关系,检验分割边界是否符合解剖规律。

IMG_20261107_151022

图5 李向宇作引导发言


围绕基于分布先验的医学图像分割方法,李向宇进一步介绍了如何利用不同组织在影像中呈现的信号分布规律,为边界模糊区域的识别提供依据。对于血管等具有明确生理功能的结构,血流动力学还提供了另一类线索,使研究者能够从血液流动与血管形态的关系出发审视分割结果。从脑胶质瘤的子区边界到血管结构的辨识,这些案例展示了如何根据具体分割任务选择相应的医学知识,为模型判断提供可解释的依据。发言结束后,论坛为四位引导嘉宾颁发了感谢牌。

图片1

图6 为四位引导嘉宾颁发感谢牌


思辨环节

引导发言结束后,论坛进入思辨环节。与会嘉宾围绕“底座重构之辩”“泛化与解释之辩”“落地与演进之辩”三项议题展开讨论。讨论从一个具体问题切入:如何将成像物理规律和医生的判读经验融入模型?在此基础上,嘉宾们进一步探讨了如何检验模型在不同临床场景中的可靠性、如何让医生理解决策依据,以及在算力和成本受限的条件下,如何使模型真正服务于临床诊疗。

1. 底座重构之辩——突破统计拟合极限,物理机理与医学知识如何重构大模型底座?

兰州财经大学信息工程与人工智能学院教授何江萍率先发言。谈及医学先验如何进入大模型,他结合近期关注的医学大模型研究指出,已有团队依托医院合作开展模型研发,但从公开介绍中,仍难看清医学知识究竟在哪个环节发挥了作用。她认同将先验知识融入模型的研究方向,也坦言,如何把已有方法用于大模型,仍是一个有待探索的问题。

王杰以功能脑影像为例指出,影像信号及其统计分析可以提示哪些脑区值得关注,但一个脑区与疾病相关,并不能直接说明它为何参与发病、能否成为干预靶点。要回答这些问题,还需回到生理机制,结合基础实验与临床研究进一步验证。董舜杰则从数据标注谈起。他介绍,团队在收集多中心影像数据时,除勾画病灶外,还为病例补充诊断依据,使模型训练能够利用医生判断疾病时所考虑的信息。

围绕数据与已有知识出现分歧时如何判断,与会嘉宾提出了不同看法。有嘉宾指出,模型预测与观察结果不符,可能源于样本不足,也可能是对物理机制的理解尚不完整,或所选模型本身不适合描述这一现象。另有嘉宾认为,在数据质量有限、样本覆盖不足时,把经过验证的物理规律作为约束,有助于减少模型将噪声误判为病灶的风险。与此同时,更广泛地采集真实病例,也可能帮助研究者识别罕见表现,提出新的医学问题。如何验证模型确实利用了先验知识,仍是这一轮讨论留给后续研究的问题。

图片2

图7 思辨议题一讨论现场

2. 泛化与解释之辩——面对真实世界复杂噪声,如何重塑多模态影像AI的鲁棒性与安全红线?

西北师范大学人工智能与计算机学院教授蒋芸做思辨引导发言。结合乳腺癌、眼底视网膜等医学影像研究经历,她指出,模型的泛化能力与可解释性之间存在一定张力。研究者希望在标准数据集上训练的模型能够适用于更多医院和患者,但进入诊疗场景后,医生还会追问:为什么把这一区域判为病灶?一旦判断有误,能否找到出错的原因?她以自动生成诊断报告为例提出,即便模型能够生成完整文本,其中的表述仍可能偏离实际诊断。如何发现并解释这些偏差,是模型走向临床必须回答的问题。

有嘉宾指出,不同机构采集的数据在设备性能、采集标准等方面存在差异,数据库建设和数据预处理需要充分考虑这些条件。王杰结合脑电研究补充,临床头皮脑电与动物实验中不同深度的电极记录各有特点。面对采集条件不一致的数据,可以先在同一标准下提取脑电标志物,再到另一种采集条件下,检验相应频段能否观察到一致表现。

针对多模态数据不齐全时模型如何使用,董舜杰以其他研究团队开展的病理引导影像研究为例作了回应。这类方法在训练阶段联合使用配对的病理与影像资料,使模型能够借助病理信息学习影像特征,实际应用时则仅需输入影像。他进一步提出,临床数据中既有资料齐全的病例,也有自然缺少某种模态的病例,可以用前者训练模型,将后者用于验证或测试,从而考察模型在真实资料缺失条件下的表现。

王治民从临床工作流程谈起。他指出,影像报告在发出前需要审核,AI提示的可疑发现也需要医生甄别。除了判断影像,医生还承担与患者沟通的责任。对临床而言,影像辅助工具的价值首先体现在帮助医生发现值得复查的部位、提高工作效率,让医生有更多精力作出判断并与患者交流。

何江萍结合与医院合作的经历,进一步解释了多中心验证的意义。他谈到,自己一度认为模型在另一家医院表现不佳,可以用当地数据重新训练。后来他认识到,如果每换一家医院都要另建模型,就需要追问:模型学到的是疾病本身的特征,还是某家医院特有的数据特征?他还提到,团队曾将算法开发成可运行的软件,但从研究指标走向院内使用,还要面对审核流程和诊断责任等实际问题。

图片3

图8 思辨议题二讨论现场

3. 落地与演进之辩——打通异构计算孤岛,庞大的多模态影像模型如何实现高质效落地?

上海交通大学医学院医学影像技术系讲师董舜杰率先发言,从医学影像标注成本较高、不同中心数据难以充分共享谈起,梳理了迁移学习、联邦学习和基础模型为这些问题提供的不同思路。他以磁共振影像为例指出,逐层勾画病灶需要投入大量专业时间。对于只有部分标注的本地数据,可以借助已有基础模型开展预训练和微调。谈及临床应用,他以肺部影像辅助检出为例提出,当系统能先标出可疑区域、再由医生筛查和补查时,算法才与实际阅片流程建立了联系。

面对大模型与专用小模型如何选型的问题,李向宇结合自己的研究经历指出,硬件条件有限时,专用小模型更具可行性。但从临床诊断过程看,医生往往需要综合影像、血液检查和病理等多种信息,多模态大模型仍值得探索。他认为,当前医学数据的规模与通用大模型训练所用的数据规模仍有差距。一条值得尝试的路径,是由基础模型提取共性特征,再结合面向特定疾病的小模型完成具体任务。

参与院内试用的嘉宾谈到,团队首先遇到的是不同站点的数据难以直接通用。即使模型能够运行,如果临床科室没有明确的使用需求,或者系统难以通过院内审核、接入医院服务器,部署仍难推进。也有嘉宾从计算资源配置出发,提出可将较重的计算任务放在云端,在医院或诊所部署轻量化应用。讨论由硬件差异延伸到一个更实际的问题:系统准备进入哪个科室,又能为医生解决什么困难?

谈及模型压缩后如何看待性能变化,何江萍把讨论拉回医生是否信任、是否愿意使用工具。他指出,公开数据集上的指标提升,并不足以说明一套系统已具备临床价值。相比笼统地比较算法与医生谁的指标更高,能够提示医生留意原先不易发现的微小病灶,为复核提供明确线索,是更有说服力的应用场景。

董舜杰结合肝癌增强磁共振诊断研究介绍,团队关注的是低年资医生在AI辅助下与专科医生的诊断表现还有多大差距,以及工具能否缩短诊断时间。郑炜豪据此提出,如果住院医师和轮转医生长期依赖AI阅片、撰写报告,会不会减少独立判断的机会,影响临床经验的积累?董舜杰回应,使用工具的人仍需具备判断其输出质量的能力。这一追问也使讨论从提高当次诊断效率,延伸到年轻医生的长期培养。

肖宁以医院引入的肺部辅助诊断系统为例指出,系统能够显示结节概率,并不意味着医生就会持续使用。对阅片者而言,更直接的问题是可疑病灶有没有被检出,系统能否帮助自己减少遗漏。王治民也从临床角度谈到,影像科医生对辅助工具最基本的期待,是尽可能把需要关注的病灶提示出来,再由医生结合检查结果判断其性质。

对于医护人员使用AI的意愿,现场出现了不同看法。张斌提出,当技术可能改变既有分工时,使用者的态度以及产品能够通过何种方式进入医院,都值得纳入讨论。常文文则认为,如果工具确实能够减轻日常工作负担,医生就有采用它的理由。他还提出,可先从特定检查或专病入手,把一个具体场景中的工具做好,再探索更广泛的应用。


IMG_20261107_154112

图9 思辨议题三讨论现场

图片4

图10 思辨环节嘉宾发言

论坛总结

经过三个议题的充分思辨,本次论坛从物理机理与医学知识如何融入多模态医学影像大模型出发,逐步延伸至跨场景应用中的可靠性验证,以及模型进入临床工作流程后面临的实际问题。对于大模型与专用小模型如何取舍、制约临床应用的主要因素是数据规模还是需求匹配,现场仍有不同看法。围绕下一步可以推进的工作,与会嘉宾形成了以下共同关注的方向。

一是围绕具体任务引入物理机理与医学知识。在束PET成像可以结合物理仿真与实测数据校正图像畸变,脑胶质瘤分割可以利用肿瘤子区的解剖关系核查病灶边界。评价知识融合的效果,应说明引入的知识纠正了哪些错误,并通过具体病例检验其适用范围。

二是加强跨场景验证,明确模型的使用边界。在不同医院、设备和患者群体中验证模型时,除比较总体指标外,还应重点核查可能影响临床决策的漏检与误判。对于模态缺失或影像表现不典型的病例,应明确模型在何种条件下仍可提供辅助判断、何时需要医生复核,并提供可供核查的影像依据。

三是从临床需求出发,检验模型的实际价值。无论是辅助阅片还是撰写影像诊断报告,都应由医护人员与技术团队共同明确需要解决的问题。以报告撰写为例,既要考察模型能否帮助医生发现可疑病灶、形成初稿,也要把医生复核和修改所需的时间计入评价,检验工具能否在保障报告质量的同时减轻工作负担。

论坛尾声,执行主席对与会嘉宾的深入研讨致以谢意,鼓励大家继续通过论坛交流群对接研究方向与资源需求,推动后续合作落地。现场还为思辨嘉宾颁发了感谢牌,致谢他们从不同专业视角为论坛贡献真知灼见。

IMG_20261107_180146_1

图11 为三位特邀嘉宾颁发感谢牌

本次论坛以“告别‘纯数据驱动’”为题,将多模态医学影像大模型的前沿探索与临床诊疗中的现实需求紧密相连。一幅影像的形成有其物理规律,一处病灶的判读凝结着临床经验,而一项技术能否走进诊室,终究要看它能否帮助医生解决眼前的问题。围绕这些问题,来自计算机、核科学与临床医学等领域的与会者交换见解,也为今后的协作找到了具体起点。与会者期待以此次交流为契机,让更多研究从临床一线的真问题出发,再回到真实病例中接受检验,使医学影像技术的进步更好地服务于医生的判断与患者的诊疗。


IMG_20261107_162401

图12 与会嘉宾合影


热门动态
2026-11-10
一、组织活动(1)论坛活动【活动名称】CCF YOCSEF保定分论坛观...
2026-11-09
2026年11月7日,中国计算机学会(CCF)主办的“立足制造转型,工...
2026-10-28
CCF YOCSEF合肥顺利举办论坛“从‘+AI’到‘AI+’:驱动政务信息...
2026-10-28
CCF YOCSEF合肥顺利举办论坛“从‘+AI’到‘AI+’:驱动政务信息...
2026-10-19
2026年10月17日,中国计算机学会(CCF)主办的“智辨真伪:防范...
2026-09-09
科创赋能开学季 逐梦启航向未来——CCF YOCSEF保定公益走进保定...
2026-09-03
CCF YOCSEF保定2026年07-08月活动简报 一、组织活动(1)论坛活...
2026-09-03
2026 年 9 月 1 日下午,作为"未来火种·YOUNG YOCSEFer"青少年科...
2026-09-03
2026 年 9 月 1 日下午,作为"未来火种·YOUNG YOCSEFer"青少年科...
2026-08-17
2026年8月15日,中国计算机学会(CCF)主办的“低空燕赵,何以可...
2026-07-26
承担社会责任 提升成员能力2026年7月11日上午,CCF YOCSEF合肥顺...
2026-07-26
承担社会责任 提升成员能力2026年7月11日上午,CCF YOCSEF合肥顺...
2026-07-23
2026年7月11日下午,CCF YOCSEF合肥分论坛第十六届学术委员会第...
2026-07-23
2026年7月11日下午,CCF YOCSEF合肥分论坛第十六届学术委员会第...
2026-07-11
CCF YOCSEF保定2026年05-06月活动简报 一、组织活动(1)特别活...
2026-07-01
2026年6月28日下午,CCF YOCSEF保定分论坛第九届学术委员会第一...
2026-07-01
01. 活动背景与主题 2026年6月28日上午,CCF YOCSEF保定...
2026-05-31
CCF YOCSEF保定组织“破除产学研壁垒,让科研力量精准赋能河北中...
2026-05-29
聚焦低空经济,共话产业未来2026年5月27日,“聚焦低空经济,共...
2026-05-14
论坛 【活动名称】参加总部特别论坛:养虾者说 【时间地点】2026/3/15,北京 【参与人员】张畔,冯士恩,杨博洋,耿超 【活动名称】2025-2026大比武 【时间地点】2026/4/11,保定 【参与人员】王祝,刘扬,尹红涛,彭锦佳,张畔,张少康,张凯喆,贾楠
CCF聚焦