大模型安全须内外协同并加强智能体行为管控: CCF YOCSEF重庆观点论坛在CNCC2026举行
2026-11-08 阅读量:0 小字

2026年10月22日,2026中国计算机大会(CNCC 2026)期间,由中国计算机学会(CCF)主办、CCF YOCSEF重庆分论坛组织的观点论坛“重构可信边界:大模型内生安全与外围防线的协同之道”在成都中国西部国际博览城5号馆516举行。论坛围绕大模型与智能体的安全边界、内生安全与外围防护的关系,以及行为管控的落地路径展开讨论。与会嘉宾提出,智能体具备行动能力后,安全治理应覆盖从模型输出到任务执行的全过程,并根据应用场景协同配置内外防线。

重庆工程职业技术大学党委副书记、校长张清华,国防科技大学教授赵翔,长安汽车安全副总工、AI安全负责人贺剑作引导报告。电子科技大学研究员牛伟纳、南京大学教授李华雄、绿盟科技集团四川代表处技术总监向国勇等嘉宾参与思辨。论坛由吴涛(重庆邮电大学)、冉靖(绿盟科技重庆代表处)共同担任执行主席。

图片1

图1 参会嘉宾合影

引导发言:从双向赋能到越界风险再到企业实践

三场引导报告从人工智能与网络安全的双向赋能展开,继而聚焦智能体的行动授权,最终落到企业防护实践,为后续思辨提供了相互补充的视角。

张清华在《浅谈人工智能与网络安全双向赋能》中,以OpenClaw智能体和Cybercab无人驾驶出租车等为例,引出智能系统的权限与安全问题。他指出,AI可通过行为基线分析、安全智能体自主运营和自适应动态防御赋能网络安全;网络安全则从数据、模型、算力和应用四个层面支撑AI可信运行,二者需要双向赋能。

对于传统安全与智能体安全的关系,张清华强调,二者属于继承与叠加:网络、主机、身份、数据和审计能力仍是底座,模型、提示词及工具编排带来新的攻击面,智能体的执行权限还会放大既有漏洞的影响。因此,应打通最小权限、监控审计等传统机制与语义层防护,协同推进安全内生化、AI自动化攻防和可信治理,探索从“拦得住”到“本身安全”、再到“AI自治防御”的演进。

在此基础上,赵翔在《从“答错”到“越界”:浅谈智能体安全风险》中,将讨论推进到行动授权。他指出,智能体“有能力做”不等于“被授权做”,风险已从生成错误内容延伸至越权执行。防护需要结合模型内生安全、外部执行控制和运行时监测处置,评估也应从回答内容扩展到行为日志与外部状态变化,在保障任务可用性的同时防止行为越界。

贺剑在《长安汽车AI安全实践》中,以企业内部调研和智能体抽样渗透测试为例,指出业务主要担忧数据泄露,而测试发现的中高危问题多来自传统安全缺陷,后果被智能体权限放大。他分析了对“数据不出域”、人工判断与厂商契约的三类信任依赖,提出以内生安全降低风险发生概率、以外围防线限制风险后果,将信任落实到可控制、可检验的机制上。他还指出,内容围栏在授权控制、行动序列识别和模型判断可靠性方面存在局限,需要叠加授权与验证能力,并进一步探索可保证、可治理的安全体系。围绕“从管内容到管行为,如何实现可落地的智能体安全”,贺剑介绍了数据流出和权限作用两条边界的防护实践:在数据流出侧,按数据密级路由至对应模型环境,结合网关敏感信息过滤与高敏场景沙箱隔离;在权限作用侧,实施资产纳管、工具与组件准入检测、上线前红队测试和运行时防护,并形成测试、整改、复测闭环。他特别提出通过身份委托,将智能体权限限定为用户权限、智能体职责和当前任务三者的交集。

三场报告共同提出了一个需要继续讨论的问题:当模型能够调用工具并执行任务,如何在继承传统安全能力的同时,把防护落实到智能体的行动过程?论坛据此展开三场思辨。

思辨环节:

一、智能体安全需要继承底座并拓展防护边界

围绕“大模型安全与智能体安全是什么关系,二者的安全边界、风险特征与防护重点有何不同”,嘉宾认为,智能体接入工具、业务流程乃至物理世界后,风险的持续时间、传播范围与执行后果发生变化。既有安全能力和风险清单仍具参考价值,但防护对象需要进一步覆盖任务规划、工具调用、记忆管理与跨主体协作。

这些变化是否构成全新风险,现场存在不同判断。有观点强调模型行为的复杂性与不可预测性,需要设置新的防线;有观点认为,主要是既有风险被模型判断偏差和执行权限放大;也有嘉宾将其概括为“源头是旧风险、形态是新风险”。对于传统安全手段,嘉宾既肯定其作为底座的价值,也提醒要应对动态生成代码、语义诱导等新挑战。讨论由此将关注点从单次输出是否安全,延伸至任务是否获得授权、状态是否被污染、执行过程是否受控。

图2

图2 与会嘉宾发言交流

二、内生安全与外围防护应随场景动态协同

在厘清防护范围后,论坛进一步讨论“如何构建大模型安全生态,内生安全与外围护栏孰轻孰重”。强调外围防护的观点认为,模型机制复杂、迭代迅速,安全网关、访问控制等外部手段更便于在当前业务中部署和调整;强调内生安全的观点则指出,持续增加外围补丁难以解决根本问题,应改进模型训练、安全对齐和对抗鲁棒性。

讨论提出,两类防护应结合应用形态和运行阶段动态配置:模型训练、更新时强化内置安全,部署、运营时重视权限约束、快速拦截与持续监测。智能体行动能力越强,越需要控制执行范围及其风险后果。在责任划分上,嘉宾讨论了“谁受益谁负责”与“谁有控制力谁负责”两种思路,并提出结合产业链分工和实际控制能力明确责任,以第三方审计、授权记录和可验证机制支持追溯。

三、行为管控与标准建设需要同步落地

围绕“从管内容到管行为,如何实现可落地的智能体安全”,企业代表介绍了覆盖防御、测试和运营的分级管控实践,包括模型微调后重新开展安全评估、数据脱敏与防投毒、内容入库审核、权限向责任人收敛,以及限制长期记忆写入等。对于工具调用,可通过统一安全网关实施鉴权与审计,对高风险操作保留人工审批。安全厂商则提出,将评估、检测、审计和运营衔接起来,以持续监测和动态响应支撑纵深防御。

嘉宾同时指出,能力建设与标准建设需要同步推进。面对“什么数据可以交给什么模型处理”的实际难题,应完善数据分级和使用规则,结合敏感数据本地处理、通用任务使用云端模型服务等方式,按场景配置防护。对可能影响物理世界的智能体,应提前明确伦理底线与安全要求,并通过企业、高校和安全厂商协作,把技术能力转化为能够执行、检查和改进的治理流程。

图3

图3 向引导嘉宾与特邀嘉宾致谢

经过三场思辨,论坛讨论进一步明确了安全治理的共同方向:以传统安全能力为基础,补足模型与智能体带来的新攻击面;根据场景和阶段协同配置内生安全与外围防护;将授权、最小权限、人工审批、行为审计和责任追溯贯穿任务全过程。相关实践还需与数据分级规则、评估标准建设同步推进,使智能体的行动能力与可验证、可追责的治理机制相匹配。


热门动态
2026-10-28
CCF YOCSEF合肥顺利举办论坛“从‘+AI’到‘AI+’:驱动政务信息...
2026-07-26
承担社会责任 提升成员能力2026年7月11日上午,CCF YOCSEF合肥顺...
2025-08-11
CCF YOCSEF 昆明成功举办“小语种·大未来”技术论坛聚焦东南亚与...
2025-12-02
2025年11月22日,中国计算机学会青年计算机科技论坛(CCF YOCSEF...
2025-09-29
承担社会责任 提升成员能力2025年9月6日,CCF YOCSEF合肥顺利举...
2025-08-01
2025年7月12日,CCF YOCSEF 合肥成功举办技术论坛“车间物理定律...
2025-07-08
2025年6月28日下午,CCF YOCSEF合肥分论坛第十五届学术委员会第...
2024-08-27
2024年8月3日,CCF YOCSEF合肥顺利举办技术论坛“从基座模型到终...
2023-05-05
AI为科学提供了强有力的工具和方法,帮助领域学者发现新的知识、...
2023-03-24
2023年3月18日,CCF YOCSEF成都在四川省成都市五岳宫街28号成都...
2023-03-02
近十年,我国交通运输事业取得了历史性成就,发生了历史性变革,...
2023-01-12
2023年1月7日-8日,CCF YOCSEF成都在四川省峨眉山市峨眉山...
2022-11-13
CCF YOCSEF成都成功举办“当行为数据分析遇上云边智能”技术论坛...
2022-11-03
习近平总书记在二十大报告中指出:全面推进乡村振兴,加快建设农...
2022-08-25
2022年8月20日,中国计算机学会(CCF)青年计算机科技论坛(CCF ...
2022-08-16
2022年8月13日下午,由中国计算机学会(CCF)主办,CCF YOCSEF成...
2022-08-16
   7月25日,由CCF主办、YOCSEF深圳承办,国家超级计算深圳中心...
2026-09-18
2026 年 9 月 12 日,CCF YOCSEF 成都观点论坛《“超级个体(OPC)...
2026-09-25
2026年9月19日下午,CCF YOCSEF成都技术论坛《AI辅助材料研发的...
CCF聚焦