2012年以来,随着Hinton、Lecun和Andrew NG对深度学习在机器学习方面的应用取得了显著的提升效果,深度学习成为了计算机科学的一个新兴领域。在ImageNet目标检测、人脸识别率动辄达到99.5%以上,甚至超越人类的识别准确率的情况下,深度学习还何以为继?该如何再深度提升?深度学习到底还能走多远?
2015年7月18日,中国计算机学会青年计算机科技论坛(CCF YOCSEF)在京举行 “深度学习还能走多远?”专题论坛。CCF YOCSEF学术委员会(AC)委员、中国科学院计算技术研究所研究员山世光,北京大学教授王立威,百度研究员余轶南作为主题演讲嘉宾,中科院自动化所研究员李子青,YOCSEF委员、中科院自动化研究所研究员张兆翔、中科院信息工程研究所副研究员刘偲等作为Panel嘉宾,一同从技术研究、产业应用等方面探讨了深度学习未来的发展趋势。本次论坛由YOCSEF AC委员、中科院信息工程研究所研究员操晓春和YOCSEF委员、西北工业大学王琦现场主持。YOCSEF副主席、西安电子科技大学教授苗启广,AC委员、中国科学院西安光学精密机械研究所研究员李学龙也参与了论坛前期策划组织。
论坛特邀讲者和嘉宾围绕深度学习的现状、存在的困难及未来发展趋势各自纷纷发表了看法,主要观点如下:
神经网络与人脑的区别
与人脑相比,目前深度学习在处理问题的能力上还有不小的差距。当前的深层网络在结构、功能、机制上都与人脑有较大差距。
第一,从结构上看,人脑有一千亿左右的神经元,这些神经元形成了一千到一万层的连接。而目前的深层网络通常只有几百万神经元,层数不超过十,因此深层网络的规模远小于人脑;
第二,从功能上看,人脑善于综合处理各种问题,能够完成复杂的任务。而当前深层网络的功能非常单一,基本用来处理识别与分类问题,没有综合处理问题的能力;
第三,从机制上看,人脑的数据存储与处理机制更为复杂;
深度学习的局限性
随着大数据的出现和大规模计算能力的提升,深度学习已然成为最活跃的计算机研究领域之一,在不断的研究中,深度学习的局限性也日益呈现出来,主要表现为:第一,缺乏理论支持;第二,缺乏短时记忆能力;第三,缺乏执行无监督学习的能力。
深度学习未来的发展方向
深度学习在人脸识别、目标检测等研究领域都取得了很大进展,识别准确率甚至超过人类,但这并不代表深度学习的发展已走到尽头。对于以下几个方面的研究,对深度学习的继续发展具有重大意义。一是开发深度学习的演绎能力;二是提升综合处理问题的能力;三是减少对硬件的依赖。
关于深度学习还能走多远,有人认为深度学习有两个层面的认识,一个是狭义的深度学习,即一些现在的一些常用算法。还有一个是广义的深度学习,也就是利用神经网络来实现人工智能的梦想。大家一致认为作为人工智能领域的一项核心技术,深度学习还有很长的路要走。在发展过程中,深度学习还面临着一系列难题,在对知识的演绎能力、对问题的综合处理能力等方面还有很大的提升空间,在深层网络的设计规则上也需要进一步探索。
附:会议照片
CCF YOCSEF学术委员会(AC)委员、中国科学院计算技术研究所研究员山世光作报告
北京大学教授王立威作报告
百度研究员余轶南做报告
执行主席操晓春主持Panel讨论(左起操晓春、山世光、王立威、李子青、刘偲、张兆翔)
执行主席王琦与讲者互动
Panel嘉宾张兆翔和讲者互动
Panel嘉宾李子青和讲者互动
嘉宾合影