2026年8月29日(星期六)下午14:00至18:00,由中国计算机学会(CCF)主办,CCF YOCSEF深圳分论坛组织的观点论坛《聚力破局,智守安全:智能体浪潮奔涌,安全边界如何重塑?》在广东省深圳市南山区深圳大学城哈尔滨工业大学(深圳)校区信息楼L416室顺利召开。本次论坛聚焦智能体落地进程中,由其自主决策、跨工具调度、无人干预作业等特性所带来的新型安全防护风险,行业普遍面临的技术防护滞后、权责界定模糊、管控标准缺失等痛点,开展了深入探讨。论坛现场气氛热烈、观点交流活跃,为推动我国智能体安全技术迭代、标准完善、合规落地,加速人工智能产业安全可控、自主智能体规模化落地等提供了新的观点和见解。
本次论坛由CCF YOCSEF深圳分论坛委员、哈尔滨工业大学(深圳)副教授吴宇琳,CCF YOCSEF深圳分论坛AC委员、深圳大学副教授章秦共同担任执行主席。本次论坛汇聚了跨领域、多元化的参会嘉宾,来自清华大学、哈尔滨工业大学(深圳)、华东师范大学、鹏城实验室、北京理工大学(珠海)、南方科技大学、深圳大学、深圳技术大学、深圳北理莫斯科大学、光明实验室等知名高校与科研机构,以及腾讯科技、南方航空、顺丰科技、深侬科技、云鼎智算、立谱智造、锐软科技、舟道教育等非学术界专家学者共聚一堂。
论坛开场,章秦首先介绍了YOCSEF的文化与发展历程,强调其在推动青年科学家思想交流与社会责任方面的重要使命。随后,吴宇琳介绍了论坛举办的背景和意义。她指出,全球AI智能体市场规模正经历爆发式增长,然而产业格局从“拼模型”转向“拼落地”的同时,安全风险也从“AI会说错什么”演变为“AI会做错什么”。智能体安全不再是技术发展的“附加项”,而是决定产品能否落地、企业敢不敢用的“前提”。这些都显示我们需要进一步关注智能体自主落地进程中的安全技术迭代、安全标准完善、安全合规建设等多个方面。
本次论坛邀请了多位国内高校的知名专家作引导报告,围绕智能体的推理隐私、可信智能体构建、智能体安全防护等防线展开深入探讨。
南方科技大学教授张殷乾带来题为《大模型推理的隐私风险与安全防护》的报告。他系统梳理了云端大模型推理面临的三类攻击者:网络攻击者、共享资源攻击者与特权攻击者,并结合三星数据泄露、模型训练数据回流等案例,剖析了企业使用云端大模型时的隐私困境。他指出,私有化部署成本高昂且迭代滞后,传统密码学方案又面临性能瓶颈,基于TEE(可信执行环境)的隐私保护推理系统是实现在不可信环境中构建可信执行空间的途径之一。目前,相关技术已在律所合同自动化脱敏等场景落地。
华东师范大学教授殷赵霞带来了题为《从数据模型安全到可信智能体》的报告。她介绍了从多媒体信息安全到人工智能安全的不同研究脉络,结合吴世忠院士对AI安全全生命周期的总结,介绍了其在可逆对抗样本、推理模型越狱攻击、模型水印与AIGC鉴伪溯源等方面的进展。针对智能体安全,她重点剖析了三个层次:在可信记忆治理层面,发现长程进化会自然放大偏差;在工具调用层面,单个工具的安全扫描存在误区,组合调用后风险提升最高可达70%以上;在持续进化层面,奖励黑客、越权失控与多智能体串谋等问题突出。她提出,智能体水印可在确权明责中发挥辅助作用。
哈尔滨工业大学(深圳)教授罗文坚带来了题为《关于智能体安全的三个问题》的报告。他首先厘清了“智能安全”“安全智能”与“隐私计算”三大方向的定位,提出“AI模型安全不等于智能体安全”,后者需在模型之外叠加记忆、环境、身份、工具与系统等维度。他辨析了Security(防他人攻击)与Safety(防自己搞砸)的关系,认为Safety是智能体被“敢用”的前提,当前智能体只能应用于非严肃且代价不敏感的场景。最后,他呼吁在不确定性中找准安全研究的真问题,避免“越做越悲观”的困境。
论坛随后进入思辨环节,大家围绕“智能体安全的研发边界、权责边界和治理边界”等三方面展开了深入思辨。
针对第一个议题“智能体安全研发边界:开源与闭源如何取舍与协同?”,深圳大学特聘研究员、副教授陈杰作为特邀嘉宾进行了引导发言。他提出,智能体开源应分层而治:通用智能体可全链条开源以集众智提升Safety;行业智能体涉及核心数据资产,基座模型宜闭源;安全组件与工具层则可开源共享,避免重复造轮。针对第二个议题“智能体安全权责边界:多主体权责如何界定与分担?”,深圳大学副教授李俊杰和鹏城实验室助理研究员邓文峰进行了引导发言。李俊杰以自动驾驶为类比,指出智能体责任体系需明确有限责任边界,服务协议并非免责金牌,应遵循“谁受益谁担责”原则,并通过技术与法律双重机制实现风险隔离。邓文锋进一步提出“Agent并非独立责任主体”的核心观点,认为运营方因掌握权限配置而负主要责任,开发者、工具提供者、使用者依过错分担;他强调,自主性不是责任减免项,而是安全义务的放大器。针对第三个议题“智能体安全治理边界:安全约束与创新发展如何平衡?”,深侬科技联合创始人王根平进行了引导发言。她提出,智能体治理需差异化准入:个人娱乐等低风险场景可先试先行,医疗、金融、政务等高风险领域需内置安全管控;安全标准宜分层建设,例如基础国家安全、行业标准、企业制度等,在统一底线与差异化创新间寻求动态平衡。
自由发言环节,华中科技大学副教授邹逸雄认为在讨论智能体安全与开源的关系时,应先区分安全问题的类型,例如偏见vs恶意使用,明确开源主要解决的是“防止恶意使用”的问题,以此为前提才能进一步探讨开源的层次与边界。深圳技术大学教授李蒙认为“开源”在实践中往往只是接口或生态层面的开放而非核心全透明,其背后有清晰的商业逻辑——吸引用户、免费获取测试资源、以及通过定义标准来挤压竞争对手等。李俊杰则指出,开源与闭源并非简单的二元对立,而将长期“平行共存”,未来更可能的生态是头部厂商通过闭源占据高端市场,而将上一代模型或工具链开源以重塑行业格局。邓文锋从工业实践出发,强调开源边界应由核心资产归属决定。他表示,工业领域的领域模型往往凝结企业重金投入的数据与工艺,构成“活性资产”,理应闭源保护;但智能体调用外部工具的能力与各行业耦合度较低,可将工具层剥离开源,从而加速全行业的智能体赋能进程。哈尔滨工业大学(深圳)教授漆舒汉主张通用智能体与行业智能体应分层而治,认为通用智能体重在Safety,宜全链条开源以集众智快速“找补”安全漏洞,行业智能体涉及隐私数据,基座模型难以开源,但应用层接口至少开放共享,以避免重复造轮。殷赵霞则抛出“开源与安全悖论”,提出闭源模型的安全护栏虽能拒绝部分恶意请求,却也可能阻碍安全研究所需的“攻击测试”,而开源模型虽无此限制却更易被直接滥用,二者需在动态博弈中寻求平衡。鹏城实验室副研究员梁骁俊则明确认为工业行业是非常难开源的,尤其是自动化相关的系统,但是工业行业也在积极主动的拥抱人工智能和智能体,如何构建更好的工业和学术的交流沟通渠道,是非常重要的。清华大学助理教授詹靖涛通过对比传统开源与AI开源、类比搜索引擎场景,指出当前AI开源的"诡异"之处在于——因算法门槛导致用户难以贡献,开源更多沦为公司的商业策略,加之平台对数据的利益垄断,使得真正的互利共赢局面在现阶段难以达成。
随后,深圳北理莫斯科大学副教授段海涵结合《道路交通安全法》修订草案中新增的自动驾驶汽车专章,指出在国内现行场景下,开发者、运营方与工具提供者往往构成同一“提供方”整体,法律上或需由该整体先行承担责任;但他同时提醒,若使用者下达的任务本身触发损失,简单归责于前三者亦不合理,权责划分仍需在个案中细分。罗文坚提出Safety应优先于Security。他认为,当前智能体仅能应用于非严肃且代价不敏感的场景,因为一旦智能体“自己搞砸”,研究者甚至无法追溯追责;他直言,若智能体连基本的安全属性都无法自证,研究者“越做越不想用”,产业落地更无从谈起。张殷乾以OpenClaw为例,指出开源免费模式虽能快速获取用户,但企业长期将付出数据泄露等额外代价,主张“不安全但好用”的产品仍需抢占市场窗口期,只有资本验证可行后,才有资源反哺安全标准的迭代。章秦则认为安全是伴生技术而非附加项,若以个体用户作为技术试错的代价,实则陷入“电车难题”的伦理困境;产业发展不能建立在牺牲个体的前提之上。锐软科技孙俊捷认为安全是跨行业的基础设施,不同于依赖垂直场景、常被诟病为“玩具”的应用技术,安全作为基础工具应前置,而非事后补救。舟道教育邓海以汽车工业发展史类比,指出最早的汽车仅有刹车即可上路,随后逐步出现安全带、安全气囊、红绿灯与分道行驶规则。他认为,智能体的安全治理同样应在矛盾中发展:法律先划底线,产业在碰撞中自我完善,而非等到“绝对安全”再允许创新。
讨论在热烈氛围中收尾,与会者一致认为,智能体安全不是发展的“绊脚石”,而是产业“行稳致远”的“压舱石”,需在开源与闭源的协同、权责与利益的平衡、约束与创新的博弈中,共同重塑智能体时代的安全边界。最后,CCF YOCSEF深圳分论坛AC主席李蒙对本次论坛进行了总结,强调智能体安全的保证需要全生命周期、多层次的防护,技术保障之外,还需要开源社区审计、行业标准和监管框架的共同支撑。
图文 | 章秦
编辑 | 段海涵、吴宇琳
审核 | 李蒙


















