我看见的世界(55)_李飞飞

五五

　　接下来，来自成千上万个感受野的信号会深入神经网络，汇聚融合成更加丰富、清晰的提示信息。每个新的感知层都在比上一层更加复杂的感知水平上运行，当感知到熟悉的事物时（也就是感知到算法此前已经被训练识别的东西），就会做出反应，就像生物神经元的生化反应被激活一样。微小的图案越来越大。这些图案进一步像拼图一样连接起来，形成越来越容易辨认的片段——老虎的条纹、木头的纹理、映在地上的影子。

　　最终，经过各层过滤后，仅剩下少数几个信号被融合成识别对象的详细图像，进入网络的最后阶段：识别阶段。摩托车、豹子、算盘、母鸡、电视机，或是其他上千种选择中的任何一个。所有这些都来自同一种算法，其精确度越来越接近人类水平。

　　当然，这些并不是什么新的创意。自从贝尔实验室成功将卷积神经网络应用于手写邮编，杨立昆多年来一直对卷积神经网络保持着惊人的忠诚。在AlexNet诞生时，他已经花了20年时间坚持不懈地完善算法、发表研究成果，但一直没有必要的资源来充分实现这些成果。现在，几乎在一夜之间，这种常被视为误入歧途的执着似乎变得极具先见之明。杨立昆把自己的卷积神经网络算法巧妙地命名为LeNet（呼应他的英文名Yann LeCun），其指导理念在AlexNet中熠熠生辉，宛如重生般焕发生机。

　　这种联系让AlexNet背后的三人团队备受瞩目。他们都是多伦多大学的研究人员，负责人是与项目同名的亚历克斯·克里热夫斯基，以及他的合作伙伴伊利亚·苏茨克维（Ilya Sutskever）。这两个聪明的年轻人资历尚浅，仍在建立自己的声誉。然而，第三个名字立刻引起了我的注意：杰弗里·辛顿。就是这位辛顿，在20世纪80年代中期开发了反向传播技术，成为早期机器学习的先驱。反向传播的突破性方法首次实现了对大型神经网络的可靠训练。就是这位辛顿，曾经指导过彼时还是他实验室学生的杨立昆。和他的学生一样，辛顿拒绝放弃对神经网络的研究，即使这让他在同事中显得形单影只。看来，AlexNet绝不仅仅是一个参赛算法。这是一个历经四分之一个世纪的正名时刻。

　　随着我对算法架构研究的不断深入，它根源的意义变得更加清晰。虽然相隔20多年，但AlexNet和LeNet的主要区别似乎微乎其微，两者都运用了传统的神经网络范式。但有一个关键的区别是显而易见的：AlexNet这个新的演化版要庞大得多。

　　与LeNet相比，AlexNet可以处理大约10倍规模的图像，通过一个大小约为其两倍的卷积核（可以理解为神经网络的“焦点”）来扫描图像。在此基础上，AlexNet通过一个更深的网络对识别的细节进行过滤，这个网络比LeNet多出几层，因此能够更全面地处理所获得的信息，并做出更复杂的推断。最后，LeNet的设计目标是将分析结果转化为10种可能结果中的一种，对应于它要识别的10个手写数字，而AlexNet可以识别出1000个物体类别，也就是比赛中选择使用的ImageNet子集中所包含的类别总数。

　　但所有这些都只是程度上的差异，而非本质上的差异；从理论层面看，两种算法几乎没有什么区别。然而，AlexNet的表现却创下了前所未有的辉煌。

　　这是如何实现的呢？

　　部分原因肯定是算法运行所需的硬件。在很长一段时间里，神经网络的训练难度很大，硬件的明显限制是致命的。即使是利用过去几十年中规模小得多的网络来训练算法，从操作层面看，也很难实现。事实上，用世界上最大的图像集合来训练类似AlexNet这样的网络似乎是难以想象的。但技术已经取得了长足的进步，尤其是出现了针对特定应用进行了优化的计算机硬件，价格低廉但性能出色，让大规模数据集训练成为可能。有意思的是，一切都要归功于电子游戏的流行。

　　这就引出了另一个命运转折点：从功能上看，神经网络所倾向的数字运算方式类似于视频游戏的图形渲染方式。自20世纪90年代以来，价值数十亿美元的电子游戏产业一直推动着定制硬件的进步和商业化，助推了英伟达等超级品牌的崛起。到2012年，相关硬件——一种被称为“图形处理器”（Graphics Processing Unit，GPU）的专用处理器——已经以优惠的价格成为消费产品。对辛顿的实验室来说，这意味着实现AlexNet所需的硬件不再需要政府拨款和施工许可，而是可以在百思买电器大卖场的货架上买到。

　　然而，“可行”不一定意味着“方便”。即使有如此强大的硬件，利用ImageNet来训练AlexNet也需要使用多个处理器，每天24小时运行整整一周的时间。所以，在2012年年初的某一周，当世界各地数以百万计的图形处理器忙于渲染抖动的机枪、成群结队的僵尸和弹片飞溅的爆炸时，有两台图形处理器却正在多伦多的某个地方将一种新型神经网络从理论变为现实。

　　尽管算法性能取得了显著进步，但在严格意义上讲，并没有什么新颖的东西。进步的作用只是让现有进程能够在更加实际的时间内完成。如果要说2012年的世界与LeNet时代有什么真正的不同，那一定是用于训练网络的数据之充裕。毕竟，在1989年，数字图像还处于起步阶段，大规模的图像库也非常罕见。在那个时候，组织一套用于神经网络训练的数据集——不仅仅是数字图像集合，更是一个针对特定应用、每个图像都由人工精确标注的海量集合——似乎完全是无稽之谈。

　　当然也有例外情况，那就是用来训练LeNet读取邮编的扫描图像。在当年，即使打造一套手写数字图像的训练集，也是勉勉强强才能完成的工作。邮编图片训练集和现代图片训练集的对比情况引人深思。与数百万像素的全彩照片不同，扫描的数字图片尺寸很小，颜色单一，占用的内存也相对较少。而且，只需数千个示例（而不是自然世界所需的数以亿计的示例），就足以涵盖其特异性所需的多样性。因为当时只能找到手写邮编的图片训练集，所以，在20多年的时间里，卷积神经网络算法的唯一成就是识别手写邮编也就不足为奇了。从这个角度来看，数据似乎有种为系统注入活力的能力。

　　事实上，在ImageNet的帮助下，AlexNet焕发生机，它贪婪地吸收着ImageNet的内容，在ImageNet规模和多样性的土壤中生根发芽，茁壮成长。一直以来，神经网络并不需要更花哨的数学公式和更奇特的抽象概念。我们期待神经网络能够理解世界，而它们只是在等待我们提供更加清晰的图景，等待一些真正有学习价值的东西。大数据训练了LeNet去理解复杂的人类笔迹，现在它也在训练AlexNet去理解万物。

　　后来我才知道，在2012年之前的几年里，辛顿重拾激情，想要证明神经网络的可行性。2011年，他认为自己比以往任何时候都更接近转折点，于是开始以一种既对抗又合作的方式与同事沟通，他的表达方式听起来更像是提出挑战，而不是提出问题。他跟同行探讨下一步行动计划，其中一个同行就是吉滕德拉。虽然他们两人早有交情，但吉滕德拉一直对辛顿的项目持怀疑态度。

　　“我要怎么做，才能让你相信神经网络是未来的趋势？”辛顿问道。

　　“你真的想打动我吗，杰弗里？那就让我看看它们能不能处理一些真正的任务。”

　　“比如？”

虚阁网(Xuges.com)