导语：CNCC2024技术论坛续篇，探索AIGC内容安全发展之路

生成式人工智能（AIGC）技术的飞速发展，从创意设计到内容生产，极大地丰富了数字媒体生态，但同时也带来了潜在的风险，如虚假信息、偏见和不当内容的传播，增加了AIGC落地的难度。确保内容生成的多样性和可控性，不仅可以提升内容的质量和可信度，还能维护用户的安全和社会的稳定。在此背景下，2024年11月17日下午中国计算机学会青年计算机科技论坛深圳分论坛（CCF YOCSEF深圳）在深圳大学城举办主题为“AIGC内容的守护与治理：生成多样性与可控性探索之旅”技术论坛。本论坛在CNCC2024技术论坛“AIGC内容乱象：检测与溯源能否主宰乾坤？”的基础上，聚焦AIGC生成多样性与可控性问题，进一步探讨在追求生成内容多样性的同时，确保生成内容的安全可控。本论坛由CCF YOCSEF深圳学术秘书、哈尔滨工业大学（深圳）副教授漆舒汉，CCF YOCSEF深圳AC、中山大学·深圳教授任文琦担任执行主席，CCF YOCSEF深圳AC委员、南方科技大学助理教授李卓钊担任线上主席。

论坛与会人员合影

漆舒汉首先介绍了本次论坛的背景，深入探讨了大模型技术在AIGC领域的发展历程及其在广告、视频编辑和游戏创作等方面的广泛应用。他同时指出了这项技术带来的可控性不足、虚假信息、偏见歧视等安全风险。因此，如何平衡AIGC生成多样性与可控性，加强AIGC内容的监管与治理，推动AIGC技术在保障安全的前提下实现更广泛的社会价值，已成为学术界和产业界亟需共同研究的重要课题。

执行主席：哈尔滨工业大学（深圳）漆舒汉  中山大学·深圳 任文琦  南方科技大学 李卓钊

论坛邀请了清华大学深圳国际研究生院教授袁春、哈尔滨工业大学（深圳）教授罗文坚、清华大学深圳国际研究生院大湾区数字经济研究中心特聘研究员文徳、北京大学深圳研究生院助理教授张健、北京大学深圳研究生院助理教授袁粒担任引导发言嘉宾。

袁春以“AIGC从虚幻和真实走向丰富和可控”为题进行引导发言，介绍了AIGC领域的研究工作，主要关注生成内容从虚幻走向真实、丰富与可控的路径。他详细阐述了多个创新应用，包括从脑电信号生成图像、镜面渲染、3D文本生成，以及多样化人脸建模与内容可控生成。其中，使用3D Gaussian 技术实现实时镜面场景的真实渲染，取得了非常好的效果，并获得了国际社会的广泛关注。这些创新研究不仅推动了AIGC技术的发展，也揭示了AIGC在实际应用中的巨大潜力，为未来在广告、影视、游戏等多个行业的应用开辟了新的可能性。

清华大学深圳国际研究生院 袁春

罗文坚以“人工智能安全中的对抗样本与模型逆向问题”为题进行引导发言，深入探讨了对抗样本和数据投毒所带来的安全威胁。他介绍了基于遗传算法和稀疏优化的对抗样本生成方法，这些方法能够有效地生成对抗样本，有助于提高现有模型的鲁棒性。此外，他还提出了通过对抗训练和标签掩码来增强模型防御能力的策略。他强调，微小的扰动就可能导致模型产生误判，这对关键领域如面部识别和自动驾驶的影响不容忽视。同时，模型的逆向分析也可能泄露训练数据，从而威胁到用户的隐私安全。罗文坚的发言为与会者深入理解AIGC安全中的关键问题提供了宝贵的见解，促使大家思考如何在快速发展的技术环境中更好地保护用户和数据安全。

哈尔滨工业大学（深圳） 罗文坚

文德带来“智能体化工作流(Agentic Workflow)在跨学科研究中的作用与意义”的引导发言。他详细介绍了“Agentic Workflow”的概念，强调通过任务自动化与协作模式，利用智能体来提升工作流程的效率。文德还探讨了智能体化工作流在多个应用领域和跨学科研究中的潜在价值。例如，在智能客服系统中，智能体能够自动处理客户咨询，提供即时反馈，从而提升客户满意度；在社会意识逆向工程方面，智能体能够分析和识别社会动态，帮助研究人员更好地理解公众情绪与行为模式；而在智能销售领域，智能体则能自动化跟踪客户需求，优化销售策略，提升转化率。文德的发言不仅阐明了智能体化工作流的基本原理和应用场景，还激发了与会者对如何在各自领域中更有效地整合智能体技术的思考。

清华大学深圳国际研究生院 文德

张健带来了“基于大模型的视觉内容可控生成与篡改检测”的引导发言。他详细介绍了其团队在可控生成和篡改检测领域取得的研究成果，部分已广泛应用于图像超分辨率、深度图生成及图像编辑等场景。张健强调，随着技术的进步，图像编辑不仅可以实现静态的视觉效果，还具备在动态调整细节和多模态生成任务中的巨大潜力。张健深入探讨了如何利用大模型技术实现图像内容的可控生成，以及如何有效检测图像篡改。他指出，针对特定场景进行模型训练是提升生成效果和检测准确性的关键。这种针对性的训练能够使模型更好地理解和适应不同类型的图像数据，从而提高生成内容的质量和可信度。张健的发言不仅为与会者提供了关于视觉内容生成和检测的前沿知识，也激发了大家对未来技术应用的深思。

北京大学深圳研究生院 张健

袁粒带来“生成未必理解: 从视频生成到理解与生成统一架构”的引导发言。他指出，当前视频生成与理解之间在技术架构上仍然存在较大的割裂，生成的内容不一定蕴含包含真正的理解，而理解也尚未能够有效地反作用于生成。袁粒提出需要突破现有的技术瓶颈，探索从多模态数据中构建通用表征的方法。他认为，通用表征能够为不同类型的数据提供一致的理解框架，从而促进生成与理解之间的协同发展。他还讨论了多模态数据在这一过程中的重要性，强调如何利用不同形式的数据（如图像、文本、音频等）共同推动生成与理解的深度融合。袁粒的发言不仅为与会者提供了对当前技术现状的深入分析，还激发了大家对未来研究方向的思考。

北京大学深圳研究生院 袁粒

思辨环节，由漆舒汉和任文琦主持。论坛邀请了鹏城实验室工业智能研究室主任梁骁俊研究员，深圳华傲数据技术有限公司董事长贾西贝和哈尔滨工业大学（深圳）教授陈科海担任思辨的引导嘉宾。围绕三个思辨议题展开研讨，分别为：（1）“如何同时保证生成内容的多样性和可控性？”（2）“如何避免AIGC模型中的‘幻觉’问题,提升内容的可信度？”（3）“如何准确、高效实现生成内容的价值对齐？”

针对思辨议题一，梁骁俊作了思辨引导，他提出多样性和可控性孰轻孰重是要依据AIGC具体的应用场景而定的。围绕第一个议题，与会嘉宾展开了热烈的讨论。目前，AIGC生成在实际应用领域中可能存在的一些问题。例如，对于政府部门和一些重要应用场景（如司法和医疗），对多样性和可控性的要求是不同的。在这些场景中，精准、可控的结果更为重要，而多样性可能会带来不必要的风险。例如，法院系统中的AI辅助审判系统，需要特别注意合规性和伦理问题，确保AI的建议不会误导判决。

另外，在娱乐场景下对AIGC生成内容的要求也存在差异。娱乐性场景与效率性场景对AI的多样性和可控性的需求各有侧重。娱乐性场景中，内容的多样性和创新性可能是优先考虑的，而在效率性和决策性场景中，AI的可控性和精准性则显得更为重要。

鹏城实验室 梁骁俊

嘉宾普遍认为，只有在充分理解的基础上，才能实现精准生成，并且解决多样性和可控性的问题。通过精确理解，生成的内容也能更具准确性和多样性，并再次强调了未来架构的发展应聚焦于统一理解和生成的建模方式。

         清华大学深圳国际研究生院  袁春       北京大学深圳研究生院 张健

针对思辨议题二，贾西贝作了思辨引导，他提出幻觉问题已经成为影响AIGC大规模应用不可忽视的重要安全问题。围绕第二个议题，与会嘉宾进行了深入探讨。幻觉问题在生成内容中不可忽视，主要分为事实性问题（如捏造或遗漏事实）和一致性问题（如搭配错误或逻辑矛盾）。为解决这些问题，可采用事实验证器、引入专家评估、用户交互反馈、众包验证等方法，并结合案例数据集优化检测与生成机制。

华傲数据 贾西贝

关于幻觉问题，可以通过多种方法尽量降低影响，当前实践中，有效的解决方案包括：1）引入外部知识增强，通过知识检索或知识库的方式，提高模型的输出准确性，这在研究和产业应用中已被证明非常有效；2）提升内部可信度，通过价值对齐训练和自我暗示机制，使模型在生成内容时更加注重安全性和信息来源的可信度。

此外，嘉宾们从数据角度分析了数据对模型输出的重要性，强调了数据质量的关键作用。偏差数据可能导致模型生成错误的预测或决策，因此，精确的数据标注和筛选被视为减少幻觉现象的关键所在。

北京大学深圳研究生院 袁粒             YOCSEF深圳AC委员 余冰

针对思辨议题三，陈科海作了思辨引导，他分享了自己在价值对齐方面的工作，提出了新型的价值对齐框架。围绕第三个议题，与会嘉宾的讨论热情更加高涨。探讨大模型的价值对齐时，有几个关键维度需要关注：1）数据处理是核心，特别是在隐私和有害数据方面；2）大模型应走向多模态架构，以模仿人类通过多感官认知世界的方式；3）模型安全性尤为重要，需要防护机制，避免恶意利用；4）持续学习和在线学习也是模型未来发展的方向，以适应新数据和场景；5）数据多元文化化很重要，避免过度依赖单一语言文化，并需要探讨有害数据是否在某些情况下对模型有价值。

哈尔滨工业大学（深圳） 陈科海

最后，嘉宾提到成立语料库联盟的愿景。关于中文训练数据的不足，最近正在创建深圳的开放算料联盟，希望能够推动中文语料库的建设，促进中文AI模型的发展。

经过下半场两小时的激烈讨论，论坛逐渐进入尾声。CCF YOCSEF深圳主席、广东省智能院副研究员黄典对本次论坛进行了总结。她强调，此次活动旨在促进AIGC及其可控技术的发展。作为一项新兴技术，我们应适度容忍AIGC在发展过程中出现的问题，以确保其内容的多样性得到充分发挥。同时，结合技术和法律等多方面的努力，有助于有效治理AIGC内容乱象，确保其在生产和生活中的安全应用。

  YOCSEF深圳主席   黄典

本次论坛由中国计算机学会与中国图形图像学会（CSIG）共同主办，由CCF YOCSEF深圳与CSIG青年工作委员会共同组织，并由深圳市计算机学会大模型专委会以及清华大学深圳国际研究生院支持举办，宝德计算机系统股份有限公司为本次活动提供了赞助支持。本次活动作为西丽湖论坛的分论坛之一，被深圳卫视报道。