人工智能（AI）大模型风靡以来，已展现出赋能各行各业的巨大潜力。12 月2日，美国商务部工业和安全局公布了对华半导体出口管制措施新规。美国对华芯片管制再升级，计算机相关的四大协会密集发声：谨慎购买美国芯片。与此同时，国产芯片的迅猛发展再次受到大众关注。如何研发感算一体芯片与多模态AI大模型，已成为发展新质生产力的新探索方向。

在这一背景下，2024年12月21日，CCF YOCSEF天津学术委员会在天津天开高教科创园组织了主题为 “破解多模态大模型感算一体芯片的诞生之路”的特别论坛。本次论坛邀请了相关行业多位国家级人才与产业界专业人士，旨在通过思辨从多模态大模型轻量化、感算一体芯片设计等多个方面展开讨论，以期为推进感算一体芯片设计生产进程贡献力量，发挥YOCSEF承担社会责任的作用。

图1：“破解多模态大模型感算一体芯片的诞生之路”论坛嘉宾合影

经过参会嘉宾的广泛探讨和热烈思辨，本次论坛观点总结如下：

（1）当前阶段，设计面向多模态大模型的感算一体芯片需要从多模态数据融合、感知与计算融合、芯片容量与成本控制三个角度来综合考虑。当前阶段感算一体芯片在多模态大模型和人工智能应用中的核心作用主要体现在处理高速成像和复杂视觉信息方面。事实上，芯片设计在应用场景以及视觉与语言处理在轻量化需求上均有差异，故应从多个角度综合考虑。

（2）研发面向Transformer的中大算力AI视觉芯片时，应根据应用场景细分，利用不同材料进行适配，实现端边云的协同和软硬件的协同。无论是SRAM、DRAM、光电忆阻器还是铁电，面对的场景不同所使用的材料都是不同的，应根据大模型中对计算资源的具体需求而定。

（3）在解决该类芯片所面临的面效比和能效比困局时，应挖掘广义的多模态大模型云边端感算群体在具身智能和低空经济中的潜力，进一步发挥存算一体技术在能效比等方面的优势。面效比和能效比是一个全局性问题，收受到芯片的通用性、定制化需求、不同应用场景等因素影响，为实现最佳性能应综合考虑。此外，还可以协同存算一体技术和GPU在AI处理中的作用，或通过AI技术本身提升传感器和处理器的性能。

论坛由CCF YOCSEF天津AC委员河北工业大学教授曹斌、CCF YOCSEF天津AC副主席中国民航大学计算机学院院长助理刘才华共同担任执行主席；CCF YOCSEF天津学术秘书、天津中科闻歌科技有限公司研发总监张伟担任本次论坛的在线主席。

图2：论坛执行主席曹斌、刘才华与在线主席张伟

引导发言环节，由北京大学教授、国家杰青黄铁军、电子科技大学（深圳）高等研究院教授、国家级人才李耘、天津大学教授、国家级人才徐江涛、北京大学教授、国家杰青叶乐从多模态大模型轻量化、感算一体芯片设计等多个方面对感算一体芯片的发展趋势进行了分析与展望。

北京大学教授黄铁军进行了引导报告《感得对，才能算得快》。照相术发明于1839年，核心是快门曝光原理，采用化学技术实现静态图像，后来电影电视在此基础上发展出视频（每秒数十幅静态图像）概念，并被数码相机简单照搬，沿用至今，但这并非记录光过程的好方法。根据光的粒子特性，他提出了脉冲连续摄影原理，实现了对光过程的正确感知表达，已经用普通芯片实现快千倍的连续清晰成像和超高速机器视觉系统，今年在日内瓦国际发明展上获得最高级别评审团嘉许金奖。

图3：北京大学教授黄铁军进行引导报告

电子科技大学（深圳）高等研究院教授李耘进行了引导报告《Hopfield神经网络与NPU芯片设计》。他从Hopfield类脑神经网络与目前大模型训练使用的多层感知机（MLP）的差异展开思辨，鉴于类脑计算芯片面向端侧推理而非预训练，引导比较了Hopfield网络的结构高效性与MLP的训练高效性在高维时空动力学、可重构层次结构、编码策略、并行网络处理和跨范式融合混合架构方面的特点，以便前瞻类脑通用计算的神经处理单元（NPU）芯片架构设计。

图4：电子科技大学（深圳）高等研究院教授李耘进行引导报告

天津大学教授徐江涛进行了引导报告《感算一体智能视觉感知芯片》。他详细介绍了感算一体智能视觉感知芯片的技术发展历程与最新趋势。随着技术的发展，该芯片作为智能机器信息获取的核心器件，在分辨率、帧频、动态范围和灵敏度等性能指标上都有了显著的提升，未来有望在单一芯片上同时完成感知、存储和计算功能，并具备注意力机制感知、事件型表示传递处理信号以及自学习能力等特点，从而更高效地处理视觉信息。随着自动驾驶、增强现实、物联网等领域的需求增长，感算一体智能视觉感知芯片将在这些新兴技术中扮演重要角色。

图5：天津大学教授徐江涛进行引导报告

北京大学教授叶乐进行了引导报告《人工智能与存算一体AI芯片》。他首先以基础硬件（芯片）与人工智能时代应用层面的Scaling law入题，指出随着大模型的出现，芯片行业面临挑战变得更加突出——模型参数过大，导致芯片的算力、运力、存力三者之间的平衡被打破，此时存储芯片与计算芯片之间的数据搬运成为主要瓶颈。为此，他提出了将计算和存储结合的解决方案，开发新的存算一体技术，以缓解运力矛盾。

图6：北京大学教授叶乐进行引导报告

四位引导发言嘉宾发言结束后，论坛进入了思辨环节。本次论坛的三个思辨议题为：“设计面向多模态大模型的感算一体芯片有哪些技术路径？”、“研发面向Transformer的中大算力AI视觉芯片有哪些关键影响因素？”、“如何解决该类芯片所面临的面效比和能效比等瓶颈问题？”

在思辨环节，北京航天航空大学教授康旺、清华大学助理教授贾弘洋、东南大学副教授司鑫、中国科学院微电子研究所副研究员袁甲、中国智能计算与产业联盟副秘书长楚含进等领域专家贡献了自己观点。同时CCF YOCSEF秘书长谭晓生、CCF YOCSEF总部候任主席贺瑞君、CCF YOCSEF总部AC刘勇、CCF YOCSEF西安AC主席宋霄罡以及天津分论坛10余位AC委员也参与了思辨。

图7：议题一部分思辨嘉宾

针对第一个议题，与会人员从各个方面展开了思辨讨论。在性能方面，部分嘉宾认为对于计算范式方面将感知和计算合理融合实现芯片计算方面性能的最大化时当下的一大难题。在能耗方面，在芯片容量达到一定密度的时候再接入大模型之后，如何保证能耗不过载的前提下提升算力，同时控制散热，控制成本是智算一体芯片所要解决的另一个问题。在大模型融合，软硬件协同方面，嘉宾们多次提到存算一体和感算一体的概念，以及它们在多模态感知和大模型部署中的应用，并且强调了端侧与云侧部署的差异性。如何有效地结合感知、计算和存储技术，应综合考虑能耗，效率，技术等方面的因素，从而令感算一体芯片更好地推动人工智能技术的发展和实际应用。

图8：议题二部分思辨嘉宾

针对第二个议题，关于研发面向Transformer的中大算力AI视觉芯片所面对的关键因素，参会嘉宾认为不同存储技术如SRAM、DRAM和光电忆阻器在不同的场景下有不同的适用性，应就计算模型的选择对计算和存储需求的影响，以及如何通过感存一体的方式来提升性能。同时，应兼顾最低信息量标准、人脑与AI存储方式的比较、数据压缩与需求分析的关系、硬件与软件协同的必要性、以及硬件定制化在大模型轻量化中的关键作用。

图9：议题三部分思辨嘉宾

针对第三个议题，参会嘉宾集中讨论了硬件与软件的协同、芯片能效比、工具链与生态建设、算法与硬件的适配、市场策略、以及推理芯片与多模态大模型的应用等关键问题。多数嘉宾强调了硬件和软件应相互补充，芯片设计需考虑能效和算力，同时在新市场中应抓住机会以建立新的生态。此外，他们也指出了在国际环境下提升工艺和市场竞争力的重要性，以及在设计芯片时寻求硬件定制化与通用性之间的平衡。

图10：天津分论坛AC主席王朕为三位思辨嘉宾颁发感谢牌（从左至右：康旺、贾弘洋、司鑫）

图11：CCF YOCSEF秘书长谭晓生对本次论坛进行点评

最后，CCF YOCSEF秘书长谭晓生对本次特别论坛进行了点评，他肯定了本次论坛在思辨主题与制度传承方面的工作，并提出了部分改进建议，希望YOCSEF天津可以再接再厉，秉承YOCSEF一贯的“承担社会责任”的宗旨。CCF YOCSEF天津现任AC主席王朕（天津财经大学）感谢了本次出席活动的各位来宾，表示各位专家学者的真知灼见体现了论坛的专业深度。他还借用“冬至一阳生”的典故，天地阳气开始渐强的冬至日代表下一个循环开始，我们一定会认真总结思辨讨论内容，为下一阶段的工作开一个好头，用本次观点论坛形成的观点和问题解决思路为推进感算一体芯片在多模态大模型领域的解决方案贡献一份力量。