深度学习的“深度”价值是什么？

深度学习的核心技术是几十年前就提出的人工神经网络，如果将人工神经网络比为火箭发动机一代，那么深度学习就是火箭发动机二代，升级了训练方式（Hinton大神首创），加装了高性能计算配置（做游戏显卡起家的Nvidia居功至伟），最关键的是有了大数据燃料，这样一来，我们人类飞抵人工智能星球的能力就大大增强了。这也是为什么神经网络换马甲为深度学习之后，能获得突破性成功（图像、语音、翻译等多个领域接近或完败人类）的本质原因，上述三个方面的天时地利人和发挥了关键作用。另外我们都知道，伟大的东西往往很简单，好比爱因斯坦的EMC方程，深度学习也是一种朴素、简单、优美而有效的方法：像小孩搭积木一样简单地构建网络结构；性能不够，加层来凑的朴素思想；当然最关键还是效果，就某些应用领域而言，深度学习在大数据集上的学习能力完败传统方法，当你的大数据燃料输入发动机之后，你可以惊奇地等待并发现，它比计算机科学家几十年努力所构建的大部分机器学习算法效果都要好很多，不得不让人刮目相看。深度学习为什么会成为机器学习的热点，或者说被喻为通往通用人工智能的关键技术？除了现阶段其学习能力比很多传统浅层机器学习方法优秀之外，应该还有更深层的研究应用价值 ，那么深度学习的“深度”价值究竟是什么，个人以有限的理解提几点供大家探讨：
（1）深度学习的类脑机制研究还很初级，神经计算和深度学习的交叉融合其实还没有开始。深度学习的加层机制来源于对人类大脑视觉分层处理的理解，而原人工神经网络也只是很初级的模拟了人脑神经元的连接和激活。人脑实现学习、记忆、推理、情感等能力的生化神经网络运行原理我们根本都还知之甚少，但是，深度学习加减层、加减神经元、加减链接、跨层跨连接等这些简单的网络构建方法却是跟人脑的运行机制有类似的地方，幼儿到成人神经元数量在增加、学习和记忆能力提升是神经元之间链接的建立和加强，而能力衰退也对应于神经元链接的断裂等等…，可以说，深度学习在借鉴大脑神经网络原理和人类认知过程方面，还没有入门，还有很多问题需要挖掘，通过传统神经计算方法直接对人脑进行解构可能是极其困难的，但对深度人工神经网络系统这个黑箱进行反向工程和解构，却是大有希望，这才是类脑计算的未来，通过深度神经网络解构类脑计算有其深度研究价值，只是暂时我们还不能理解罢了。
（2）为什么大规模数据加大规模网络结构能加强模型的表达能力，对这种深层表达能力原理的解释还远远不够。性能不够，加层来凑，跟三个臭皮匠顶个诸葛亮是一样的道理，网络的深度体现了模型复杂度的表征能力，每深一层，表达能力就能大幅提升，因为增加了层数之后，模型的复杂度更高，可以吃下去更多的数据。但到一定程度之后网络越深模型的性能不一定会更好，因为数据不够拟合网络的容量了，网络容量及结构跟大数据量级是一种什么关系？虽然说复杂模型可由简单模型进行组合，预测性能可由增加网络复杂度得以提升，网络结构及容量的有效性，以及内部机制的可解释性还有很多问题需要解决。但性能不够，加层来凑这种朴实的组合处理思想，还是有待深度挖掘，特别是其应用价值，在Kaggle大赛里有大量体现，我的下篇文章“从Kaggle看组合式机器学习的魔力”会深入探讨这个问题。
（3）非监督学习能否让深度学习的自动特征工程更上一层楼？非监督式深度学习技术的研究还远远不够。虽然非监督学习对于深度学习的成功逆袭起到了关键作用（以2006年Hinton的DBN文章为代表），但在接下来这些年里，以CNN和RNN为代表的深度模型，在图像、音频、视频、自然语言等领域成功，使得有监督学习盖过了无监督学习的风头，这也是科研人员快速出成果的现实选择，标准的标签数据集，拿来就能灌水，而且效果很好，谁愿去面对现实世界中海量的无标签数据集这个硬骨头呢？但是未来解码人类学习方式的重大突破，很可能会由非监督学习技术来完成，因为无监督才是人类和动物学习的关键模式，婴幼儿通过少量有监督学习训练之后，在后续几十年的成长过程中，能够观察并发现世界的内在结构和获得经验知识，都是一种无监督的自发主动的学习模式，而不是像小时候被父母告知每项事物的名称和意义。
（4）调参不是问题，参数少才是限制。很多人认为深度学习的调参很坑爹，参数对预测性能的影响很敏感，这里我不谈细节技术，其实是有很多方法可以解决这个问题的。只探讨下参数多与少的问题，个人认为深度学习之所以有效，一方面是因为类人脑神经网络的黑魔法机制（这个机制超出了人类的认知范围，短时间内我们还难以搞清楚），另一方面就是深度网络海量参数的魅力，权重网络的学习本质就是调参，我们人脑的学习记忆机理本质也是在调参。我们说人类的进化，社会发展，蝴蝶效应等…各种随机性，各种参数供上帝之手（如果有的话）的拨动，才成就了世间万象的复杂性和多样性。就好比中医，可有说几千年的中医学就是一门调参学，这也是Hinton为什么说Shallow is hurt， 因为成就深度网络超强的表达能力就在于层数增多权重参数增多，也符合我们大脑的学习机制，人脑的运行机制是一样的道理，每个小的选择大的抉择都是调参而已。实际上深度学习加贝叶斯学习值得关注，大数据时代，机器学习模型的调参不是问题，参数少才是问题，调参原理及方法的深度价值还没有挖掘出来而已。
（5）多种学习方式的深度交叉融合，将极大推进深度学习的应用价值特别是人工智能的突破。机器的情感、记忆推理等高级智能，将很可能由迁移学习、强化学习、对抗学习等各种学习方式的深度交叉融合成就，未来的机器学习方式远不只这几种，其实都是在模仿人类的学习方式。迁移学习代表了我们的进化过程，学习的举一反三、触类旁通过程，对抗学习跟你打壁球或者跟电脑下棋没有本质区别，但对机器学习能力的提升却是很有效。未来的深度学习能否产生智能，那就看各种学习方法融合得怎么样了。
（6）深度学习能有多深，取决于GPU、TPU、XPU、量子计算等的计算加速能力有多强有多快。虽然深度学习的计算方式参照了人类视觉多层处理机制，但深度学习算法的处理时间与人类大脑和视觉神经元的计算反应时间相比还有很大差距，另外现在的人工神经元相比人脑神经元的复杂度，也是相差甚远。要完成大规模计算的实时响应，我们还需要较长的路要走，各种高性能计算技术还需要突破摩尔定律的发展。不然通用的人工智能是显然不可能实现的。大数据是燃料，深度学习是火箭发动机，XPU和量子计算就是推进加速器，没有加速器这个关键助力，深度学习将难以成就深度智能。
（7）深度学习系统与神经网络芯片的软硬结合，硬件单元是深度学习应用落地的关键载体，特别是产品级、设备级上的应用，深度学习软件、各种NN网络芯片、各种XPU计算单元的集成支持，智能化一体化的软硬件融合是必须的，这也是实现人工智能机器人的必经之路，个人认为这一融合有望在自动驾驶领域率先突破。

上述七个方面分别探讨了深度学习面临的各种问题、挑战和其待挖掘的深度价值，不管是研究价值还是应用价值，应该说还有很多问题有待深入。最后做个小结，个人认为基于深度网络架构的有限知识融合和大数据驱动的机器学习将是通往通用人工智能的关键技术。相信深度学习这一波思潮所代表的基础理论、技术框架、算法模型库等各种相关理论及技术的演化和拓展，在学术界和工业界将会走得很远，深度学习的深度价值不容小觑。最后，以Hinton大牛在最近演讲中提出的一个开放问题作为结尾：“如果心智只是我们的大脑，一团神经元、突触、电位和神经递质构成的网络的产物，那么我们可以将心智注入一个电脑，来建模我们大脑的人工神经网络吗？如果可以，这又意味着什么？”。

来源：点金大数据