自ChatGPT面世,大模型生态呈现百花齐放之势,为千行百业注入了新的活力和机遇。安防是AI应用落地的先行者,当下大模型时代的开启,安防行业再次站在了技术应用的前沿,诞生出“天问”、“数智八斗”、“从容”、“星汉”等行业应用大模型。然而,安防行业应用场景和任务繁杂,数据壁垒和知识割裂严重,导致安防大模型技术、功能、标准和演进路径各行其道。为深入探讨大模型时代下智能安防的演进路径和机遇挑战,2024年11月9日CCF YOCSEF青岛邀请到了智能安防、多模态感知以及人工智能安全方面的专家学者,围绕智能安防痛点问题、关键技术以及安防大模型演进路径与落地影响展开探讨,期望为安防大模型技术发展、行业标准制定和相关法律建立提供有益的参考。

本次论坛由CCF主办, CCF YOCSEF青岛学术委员会组织,山东科技大学计算机科学与工程学院(腾讯人工智能学院)支持。CCF YOCSEF青岛学术秘书张鹏(山东科技大学)与CCF YOCSEF青岛22-23主席包永堂(山东科技大学)担任执行主席,CCF YOCSEF青岛委员张雪(山东科技大学)和张晓林(山东科技大学)担任线上主席。论坛邀请到了以萨股份技术有限公司石柱国总工程师、山东大学软件学院卢宪凯研究员和中科人工智能创新技术研究院副院长纪文峰高级工程师担任引导发言嘉宾,并邀请到了中国海洋大学蔡青副教授、武汉大学林雨恬副教授和长烽数智科技(山东)有限公司首席网络专家邸正强高级工程师担任思辨嘉宾出席。CCF YOCSEF青岛发起人之一梁永全教授、CCF YOCSEF青岛15-16主席赵建立、CCF YOCSEF青岛20-21主席赵中英、CCF YOCSEF青岛23-24主席于彦伟、现任主席晁国清以及来自北京航空航天大学、山东科技大学、中国海洋大学、中国石油大学(华东)、青岛大学、中科人工智能创新技术研究院、青岛安瑞信息技术、烟台舜宝网络科技、青岛博软网络科技、青岛地铁运营、优谷有鹿等高校、企业和事业单位60余位专家和师生参与了本次论坛。

论坛引导发言阶段,石柱国以“大模型在安防领域的应用与挑战—如何让大模型像人类一样思考”为题,剖析了安防领域“技术+业务”双轮驱动信息化项目面临的挑战,特别是企业已建智能安防平台系统更新迭代与当前大模型生态的有效结合,提出了依托全息感知、图数融合体以及自进化AI生态体的“一体两翼”即建即用生成式应用开发新模式。以“数智八斗”大模型为例,重点讨论了基于大模型的Zero-shot算法开发、多方联动Agent视频调阅服务、依托大语言模型的创新交互方式、深层次上下文联动语义/情感分析、法治AI助手等实际应用场景。此外,还探讨了大模型应用的挑战,特别是大模型幻觉和安全问题,并以垂域模型AlphaGO为例,提出融合领域知识使大模型从generative到objective,使大模型成为领域专家。

卢宪凯以“视频目标感知与多模态场景理解”为题,分析了真实世界开放场景视频感知和理解任务中类别无法预知、分布实时变化、标注难以穷举以及数据缺失/噪声干扰等挑战,并重点分享了团队针对上述问题的相关解决思路,提出可导的视觉关系学习方法提升模型处理异构数据的分析能力。提出CLIP+开放词汇分割模型,利用轻量级跨模态交互模块对查询嵌入和剪辑图像嵌入对齐以弥补域间隙,并采用半在线推理充分挖掘视频中的时间一致性。而后介绍了视觉大模型在文本引导的视频分割和视频时序定位应用的探究,最后介绍了课题组相关科研成果落地应用。

纪文峰以“智能安防大模型相关科研与产业化工作”为题介绍了中科人工智能创新技术研究院从传统智能感知与生物识别相关科研与产业研究到大模型时代专用智能到通用人工智能的升级。报告从不同角度分析了通用大模型产业化不足,例如大模型带来的短期收益与初期投入成本不匹配、大模型应用模式与传统安防业务解决方案不匹配、当前大模型能力无法满足用户期望以及大模型的安全性和合规性。而后介绍了“通用大模型+行业场景+训练调优”的工业化生产作业流程以及该模型在实际监控场景应用中“多、快、好、省”四大优点,并以机场、智安社区、社会治理/网络化工作平台、智慧园区等具体场景介绍研究院的具体实践实施方案。

引导发言阶段结束后,论坛进入思辨环节。会场的嘉宾围绕3个议题展开了思辨研讨。

思辨议题1:安防大模型实现路径是通用大模型“套壳”还是聚焦行业另起炉灶?

从产业界角度来看,大部分嘉宾认为现阶段安防大模型的实现路径是通用大模型的“套壳”。受限于数据和算力等因素,训练大模型成本过高,中小企业难以另起炉灶构建大模型,“套壳”通用大模型微调解决应用问题更符合行业大模型快速落地和商业闭环目的。而从应用场景角度和需求来看,安防模型会越来越聚焦行业应用场景。安防领域任务场景复杂,依赖通用大模型“套壳”难以实现复杂场景的多模态感知以及多任务的推理和决策,且部分场景套用大模型是“大材小用”。此外,简单“套壳”通用大模型无法满足特殊行业数据和算法安全性需求。因此,聚焦行业应用场景,构建垂域场景模型及协同融合大、小模型是行业另起炉灶的一种形式。

思辨议题2:安防大模型演进路径是走向行业通用还是场景“百花齐放”?

大部分嘉宾认为安防大模型会走向行业通用与场景垂域并存,以行业通用大模型作为基座,面向复杂安防场景“百花齐放”。从大模型发展历程和趋势来看,基础大模型泛化性会越来越强,演进路径趋向于通用,起到行业的基座模型作用。从产业发展和竞争角度看,训练基础大模型需海量数据和算力,训练开销和更迭成本高,经过市场竞争淘汰,生存下来的只有头部企业少数基础大模型,即基础大模型会趋向于行业通用。而从产业应用角度来看,安防领域应用场景复杂繁多,数据和场景难以通用,构建通用视觉基础模型更加困难,面向多样的安防场景实际应用,场景“百花齐放”垂域模型与大模型协同具有更高的落地可行性。从安防产业发展角度来看,场景垂域小模型在特定细化应用场景具备专业优势,依旧能够找到其生存的价值,与行业通用模型相互促进、相辅相成。此外,也有部分嘉宾从安防行业大模型的标准和接口的通用性、安防大模型应用需求等角度分析安防大模型的演进趋势。

思辨议题3:安防大模型落地对AI技术、隐私伦理、安全过度等带来哪些冲击?如何应对治理?

针对安防大模型落地的影响形成主要观点如下:1)在安防领域讨论隐私和伦理问题是个伪命题,安防应用不可避免涉及到隐私和伦理问题,智能安防应用目前相对成熟,安防大模型可以辅助现有安防系统更好理解场景内容且国家已经出台相关政策对大模型进行备案和审查,对生活的影响无需过度担心;2)安防大模型对数据隐私和知识产权隐私均造成冲击。企业构建安防模型或进行推理时,存在数据私自保存和泄漏风险,联邦学习可能是一种解决方式。另一方面,安防大模型存在被逆向分析和推理风险,导致模型参数泄漏,危害知识产权。3)大模型幻觉造成信息误导和倾向性诱导。潜在的治理方式包括:1)相关政策对大模型进行备案和审查;2)联邦学习等范式解决源头数据泄露;3)人工智能法规和伦理建设,重点是治人而非技术;4)监管和流程层面需要进行规范和限制等。

在思辨环节之后,YOCSEF青岛15-16主席赵建立做论坛总结,感谢各位嘉宾的精彩报告和所有与会者精彩的观点思辨。历时四个小时,本次论坛在热烈的会场氛围中圆满结束。欢迎大家继续关注和参与CCF YOCSEF青岛的后续论坛活动。