2026年9月19日，由中国计算机学会（CCF）主办、CCF YOCSEF深圳组织的“大模型评测可信吗？——从‘刷榜竞赛’到‘真实能力’”技术论坛与“中俄合作之桥——走进深圳北理莫斯科大学”CLUB活动在深圳北理莫斯科大学举行。

2026年是“中俄教育年”启动之年，也是中俄战略协作伙伴关系建立30周年和《中俄睦邻友好合作条约》签署25周年。值此中俄教育科技合作持续深化之际，CCF YOCSEF深圳于2026年9月19日上午组织“中俄合作之桥——走进深圳北理莫斯科大学”CLUB活动，深入了解中俄合作办学的创新实践与人工智能领域的科研成果。本次活动由YOCSEF深圳AC学术秘书、深圳北理莫斯科大学副教授段海涵与YOCSEF深圳AC副主席、哈尔滨工业大学（深圳）教授陈科海担任执行主席。

深圳北理莫斯科大学由深圳市人民政府、北京理工大学和莫斯科国立罗蒙诺索夫大学合作设立，是中俄高等教育合作的重要成果。学校依托中俄双方优质教育资源，积极探索国际化人才培养与科研合作的新模式，为两国教育、科技与人才交流搭建了重要平台。

活动期间，参会人员首先参观了深圳北理莫斯科大学校史馆，了解学校的创办背景、发展历程、办学特色以及在人才培养、学科建设和国际合作等方面取得的成果。通过参观交流，参会人员进一步认识了学校在融合中俄优质教育资源、探索国际化办学模式方面的实践与特色。

参观深圳北理莫斯科大学校史馆

随后，大家走进深圳北理莫斯科大学人工智能研究院实验室，了解研究院在人工智能及相关交叉学科领域的研究工作，并现场体验了基于步态的无扰式抑郁风险评估系统。该系统通过分析人体步态特征，探索利用人工智能技术实现非接触、低干扰的心理健康风险评估，为智能感知技术在心理健康领域的应用提供了新的研究思路。大家围绕系统的技术原理、应用场景及未来发展方向进行了交流，进一步加深了对人工智能技术在健康监测领域创新应用的认识。

参观深圳北理莫斯科大学人工智能研究院

本次活动，为CCF YOCSEF深圳与深圳北理莫斯科大学搭建了交流平台，近距离感受了中俄合作办学的特色与人工智能领域的科研探索。

随后，在2026年9月19日下午，技术论坛“大模型评测可信吗？——从‘刷榜竞赛’到‘真实能力’”在深圳北理莫斯科大学主楼336会议室举行，由YOCSEF深圳AC委员、深圳大学副教授章秦和YOCSEF长沙AC委员、哈尔滨工业大学（深圳）副教授覃立波担任执行主席。本次论坛编号为CCF-Yo-26-124，围绕大模型评测的有效性、可信度及未来评测体系建设进行了深入探讨。

随着大模型技术快速发展，评测结果已成为衡量模型能力、指导技术研发和推动产业应用的重要依据。然而，基准测试饱和、测试集污染、指标与真实应用脱节，以及模型针对固定榜单过度优化等问题，也使得评测分数与模型真实能力之间的关系受到越来越多的关注。本次论坛以“大模型评测可信吗？”为核心议题，通过引导发言与思辨交流相结合的形式，探讨如何从单一指标和榜单排名走向更加全面、可靠、贴近真实场景的大模型能力评价体系。

引导发言：从评测方法到能力缺陷，重新审视大模型评测

论坛第一阶段围绕多模态生成与交互场景评测、真实场景下的模型能力缺陷挖掘，以及现有评测体系的局限性，安排了三场引导发言。

来自哈尔滨工业大学（深圳）的田倬韬做题为《面向多模态生成与交互场景的评测与优化》的引导发言。田倬韬围绕多模态生成任务中评测指标与主观感受不一致、多参考图融合存在特征干扰等问题，介绍了评测体系构建与模型优化方法。针对现有客观指标难以准确反映生成质量的问题，报告引入多模态大模型主观评测，构建融合主客观指标的多维度评测体系，并采用逆向生成方法构建覆盖光照、背景、姿态、主体及风格等维度的评测数据集，通过人工审核保障数据质量。针对多参考图融合中的内容与风格冲突，提出基于强化学习的判别式奖励缩放策略，通过拉开奖励分布差异增强模型对优质生成结果的辨别能力，有效提升了模型的生成效果。报告指出，复杂多参考图生成需要更加精细的评测指标与动态奖励机制，单纯依赖监督微调难以取得理想效果，并进一步将研究拓展至视频叙述生成，强调帧间连续性、协调性与时序一致性的重要性。

哈尔滨工业大学（深圳）田倬韬做引导发言

来自南方科技大学的陈冠华接着做了《面向真实场景的大模型能力缺陷自动挖掘》引导发言。陈冠华围绕大模型评测基准饱和、数据污染及传统静态评测难以反映真实场景表现等问题，介绍了面向模型能力缺陷的自动发现与验证方法。针对裁判模型存在偏见、可能引发奖励投机的问题，报告介绍了Bioscope工作，通过保持正确答案不变的题目改写诱发模型错误，结合错误归因、同类场景验证与多种偏见组合，实现潜在缺陷的自动挖掘与可靠性验证。在Text-to-SQL任务中，进一步通过问法改写、无关信息注入及数据库模式调整构造测试场景，利用SQL执行结果建立自动验证闭环，发现传统评测基准难以覆盖的模型能力缺陷。实验表明，该框架能够有效揭示不同模型的潜在弱点，并通过针对性数据微调修复部分问题。报告指出，模型缺陷修复仍面临持续学习挑战，未来需要面向长程推理等复杂任务探索动态评测、奖励模型优化及人机协同验证机制，在提高缺陷发现能力的同时降低评测成本。

南方科技大学陈冠华做引导发言

随后，来自深圳理工大学的倪仕文做了《大模型能力评测：我们测到了什么，又遗漏了什么？》的引导发言。倪仕文围绕大模型能力评测的有效性与可信度问题，从多模态理解、评测基准质量、数据污染及推理过程分析等方面展开探讨。报告指出，当前模型在基础感知任务上表现较好，但在高阶视觉理解、长视频中等时间尺度的信息整合及跨模态因果推理等任务中仍存在明显短板，传统评测分数难以全面反映模型的真实能力。针对现有基准存在简单题过多、伪多模态题目及评测成本高等问题，介绍了半自动化数据清洗方法，通过筛除区分度不足及无需跨模态推理的样本，提高评测效率与有效性。针对测试集污染问题，提出通过选项乱序及代码语义保持变换等方式检测潜在的数据泄露，并探索基于模型自我认知与回复相似度的蒸馏行为分析方法。在推理能力评测方面，提出利用图结构拆解思维链，识别有效推理步骤与冗余过程，实现从结果评测向过程分析的延伸。报告强调，模型高分不等于真实能力，未来需要更加关注评测数据质量、测试集污染及推理过程的有效性，建立能够准确揭示模型能力边界的可信评测体系。

深圳理工大学倪仕文做引导发言

三场引导发言分别从评测与优化、缺陷自动挖掘、能力边界分析三个角度展开，为后续思辨交流提供了丰富的技术背景和讨论基础。

思辨交流：从榜单排名走向真实能力评价

论坛第二阶段围绕三个核心议题展开思辨交流。与会嘉宾结合学术研究、模型研发和产业应用中的实际经验，就大模型评测面临的关键问题展开讨论，现场观点交锋充分。

思辨交流一：大模型评测到底是在评“真实能力”，还是在评“榜单技巧”？

第一轮思辨围绕静态基准测试的局限性，以及榜单评价能否反映模型真实能力展开，由来自香港中文大学（深圳）的蒋理助理教授进行思辨引导，在场嘉宾对该议题展开了深入讨论。嘉宾指出，当前公开榜单采用相对固定的测试数据和评价指标，随着模型不断针对特定基准进行优化，容易出现测试分数持续提升，但实际能力提升有限的情况。对此，提出可以探索动态化、对抗式评测机制，通过不同模型之间的交互与竞争形成动态评价，减少模型对固定测试集的过度适应。

香港中文大学（深圳）蒋理进行思辨引导

大家认为，榜单排名本身具有一定价值，能够反映模型在特定任务和评价标准下的表现，但不能简单将单一榜单上的高分等同于整体能力的提升。有嘉宾提出，应当关注模型在多个基准上的综合表现，如果模型在不同任务和评价维度上均取得稳定提升，才能更有力地说明其能力确实得到增强。也有嘉宾强调，不同模型在写作、逻辑推理、数学计算等方面具有不同优势，评测体系应充分考虑能力的多样性，避免通过单一排名对模型进行简单排序。

讨论进一步延伸到静态榜单与动态评测的关系，提出可以在保留基础能力基准的同时，引入动态对抗、细分任务和真实场景测试，使评测既能够提供相对稳定的横向比较，也能够反映模型在不断变化的任务环境中的适应能力。

综合现场讨论，形成两点认识：一是榜单分数是衡量模型特定能力的重要依据，但需要结合多个基准和不同任务维度进行综合判断，避免过度依赖单一指标；二是未来评测可以探索静态基准与动态对抗相结合的方式，在保持评价可比性的同时，进一步检验模型的泛化能力和真实能力边界。

思辨交流二：大模型测评的“高分低能”，是测试集的锅还是模型的病？

第二轮思辨聚焦模型评测结果与真实应用表现之间的差距，由来自中山大学的陈文清副教授进行思辨引导，他从模型研发与评测基准构建两个角度切入，指出高分低能现象并非完全由模型本身或测试集单方面造成。一方面，模型研发过程中往往需要围绕现有基准组织训练和优化，容易形成对特定评价指标的适应；另一方面，评测基准自身也可能存在数据质量不足、测试集污染和真实场景覆盖不充分等问题。

中山大学陈文清进行思辨引导

围绕这一问题，与会嘉宾结合模型研发和行业应用经验展开讨论。大家认为，标准化测试题能够在一定程度上反映模型的基础能力，但其能否代表真实场景，需要结合具体任务判断。对于数学推理等具有明确问题定义和评价标准的任务，标准化基准具有较好的参考价值；而对于法律、医疗、能源等复杂行业场景，实际任务往往涉及专业知识、隐性规则、多轮交互及具体业务约束，单纯依赖公开榜单难以全面评价模型的实际表现。

讨论进一步延伸到通用能力评测与行业应用之间的关系。有嘉宾认为，通用榜单能够为模型选型提供基础参考，但行业应用还需要结合领域知识、实际业务数据和专业人员的判断建立针对性评价机制。尤其在部分涉及企业内部数据和专业经验的场景中，公开数据集难以覆盖全部需求，模型在通用基准上的优势也不一定能够直接转化为行业应用优势。

综合现场讨论，形成两点认识：一是高分低能现象既需要从模型训练和优化方式中寻找原因，也需要反思评测基准的数据质量、污染风险及任务覆盖范围，不能将问题简单归结于某一方；二是应当推动评测从标准化题目逐步走向任务导向和场景导向，将通用能力评价与行业实际需求相结合，通过真实任务测试和专业人员参与，更准确地判断模型的应用价值。

思辨交流三：该由谁来定义大模型评测标准？如何构建新时代的大模型评测？

第三轮思辨将讨论重点从评测方法转向评测标准的制定机制，由来自深圳大学的王祎乐助理教授进行思辨引导，在场嘉宾围绕学术界、产业界、政府机构和第三方平台在评测体系建设中的角色，从标准制定的公信力、独立性、应用价值及多方协作等角度展开交流。

深圳大学王祎乐进行思辨引导

讨论中，有嘉宾提出，政府机构可以在基础规范和标准建设方面发挥引导作用，学术界应重点关注评测方法的科学性与有效性，产业界则能够结合真实业务需求提出具体评价标准，第三方平台可以通过相对独立的评测机制提供模型比较依据。也有嘉宾认为，评测标准不应完全依赖单一机构制定，而应当充分考虑实际应用者的需求，由真正使用模型的主体参与确定需要评价的能力和具体任务。

围绕评测标准的公信力与商业利益之间的关系，现场还展开了进一步讨论。有嘉宾提出，可以通过多方参与、交叉验证和竞争机制降低单一主体对评测结果的影响；也有嘉宾从行业标准制定的实践出发指出，标准本身往往涉及不同参与方之间的协调与博弈，关键在于建立相对透明、能够获得广泛认可的评价机制。此外，现场还讨论了借鉴共识机制、发挥用户评价作用等可能性，以及这些机制在实际技术实现和应用推广中面临的挑战。

讨论进一步延伸到统一评测标准与场景化评价之间的关系。与会嘉宾认为，大模型应用领域广泛，不同任务对模型能力的要求存在明显差异，完全依赖一套统一标准难以覆盖所有应用需求。未来可以在基础评价规范之上，结合具体行业和应用场景建立差异化评价机制，并通过多方参与和持续验证提高评价结果的可信度。

综合现场讨论，形成两点认识：一是大模型评测标准建设需要学术界、产业界、政府机构、第三方平台及实际应用者共同参与，在科学性、独立性和应用价值之间寻求平衡；二是未来评测体系既需要具有可比性的基础评价标准，也需要面向不同任务和行业场景的差异化评价机制，避免将复杂的大模型能力简单归结为单一分数或排名。

论坛总结：推动大模型评测从“分数导向”走向“能力导向”

本次论坛通过三场引导发言和三轮思辨交流，围绕大模型评测的技术方法、能力缺陷、数据质量、真实场景适应性及标准建设机制等问题展开了深入探讨。

从多模态生成质量评价，到真实场景下模型能力缺陷的自动发现，再到测试集污染与推理过程有效性的分析，三场引导发言展示了当前大模型评测研究中的不同探索方向。三轮思辨则进一步将讨论延伸至榜单机制、模型泛化能力和评测标准建设，呈现了学术研究与产业实践之间的多元观点。

论坛最后，与会嘉宾和参会人员共同回顾了讨论内容，并对引导嘉宾和思辨嘉宾的分享表示感谢。大模型能力评价不仅需要关注榜单分数，更需要关注评测数据是否可靠、评价方法是否有效，以及模型能否在真实场景中稳定完成任务。如何建立兼顾科学性、可信度、动态性与应用价值的评测体系，仍需要学术界、产业界及相关机构持续探索与协作。

本次论坛为大模型评测领域的研究者和实践者提供了交流与思想碰撞的平台，也进一步推动了关于大模型真实能力评价及可信评测体系建设的讨论。

论坛合影

图文 | 章秦、段海涵

编辑 | 段海涵

审核 | 段海涵