我看见的世界(40)_李飞飞

四〇

　　总结成一句话来说：因为我们的算法出现了数据科学中所说的过拟合现象（Over fitting）。也就是说，无论算法设计得多么巧妙（我们探索了所有能找到的算法），即使是那些在测试中表现最好的算法，在遇到新的刺激时，也会很快出现问题。那些看似经过有效训练的算法，却无法将它们所学到的知识，或者说它们本应学到的知识，应用于现实世界。从本质上讲，这与人类的感知能力恰恰相反。人类的感知能力是由泛化能力决定的，泛化能力增强了我们的灵活性和适应性，甚至让我们富有创造力，让我们能够随时利用新想法的力量锐意进取，而不是停留在过去的经验中止步不前。任何缺乏泛化能力的生物都会很快被自然界的不可预测性击垮，因此这种能力是生物进化思维的关键特征。然而，对机器来说，泛化在很大程度上仍然是遥不可及的。

　　在我们试图解开过拟合之谜的过程中，算法本身是一个自然的起点。具体来说，需要研究算法如何从训练数据中学习。我们探索的大多数算法都非常复杂，无法手动配置，用专业术语来说，是“计算难以实现”。其中包含的无数参数的排列组合范围庞大无比，就像一个延伸到视野之外的旋钮和开关控制面板。相反，自动化技术通过长时间的迭代试错，可以接近理想的参数平衡。多年来，相关技术的改进一直是计算机视觉研究的重要支柱。

　　但Caltech 101鼓励我们更深入地思考数据，这反过来又激发了我们的好奇：等式这一边的数据是如何导致过拟合问题的呢？毕竟，如果没有数据，“机器学习”中的“学习”对象就不存在了。尽管数据的重要性不言而喻，但这个话题缺乏物理学、数学或统计学所具备的精确性。像彼得罗和吉滕德拉这样的研究人员是为数不多的几个对数据进行了深入探索的人，我认为他们形成了理解这一问题的最佳直觉。我们发表的论文似乎表明，随着数据集的增大，我们的算法的能力也相应提升——至少相对而言是这样。即便如此，数据的筛选感觉更像是黑魔法，而不是一门科学。

　　我开始思考我们可能犯了哪些错误。也许应该调整训练图像的方向？或者增加数据的多样性？是分辨率的问题还是相机质量的问题？或者，有没有可能101个类别都不够？——我都不愿意往这个方向想，更不用说将它说出口了。我对这些问题思考得越深入，它们就越明显，甚至是紧迫。但据我所知，在视觉研究领域还没有人提出这些问题。

　　我们的优势是数据量，可就连数据量的问题也显得扑朔迷离。我不得不承认，其实101这个数字并没什么特别之处，它不是经过证实的结果，甚至不是从理论中推导出的原则性估计。这只是我和导师在摆得像霍克尼画作一样的午餐盘上玩“胆小鬼游戏”的结果。这并不是突破性进展的前奏，难道这真的有那么令人惊讶吗？我再次回到文献中，这次是怀着复仇的心情。如果不是101个类别，那应该是多少个？200个？500个？还是1000个？我想，拜托，千万别是1000个。我下定决心，无论如何都要在茫茫文献中找到一丝线索。

　　我费了一番功夫，终于找到了一些资料。这些资料甚至来自一个熟悉的来源——现代视觉研究成果的主要贡献者之一欧文·比德曼。他的这篇论文发表于1983年，我上次读这篇文章已经是好几年之前的事了，应该是在凌晨两点跟其他一堆文献一起浏览的。现在，我们已经对单样本学习进行了大量探索，并真正实现了视觉分类的梦想，从中学到的一切让我开始以一种崭新的视角重新审视这篇论文的观点。

　　比德曼在论文中探讨的话题与我的研究领域并不直接相关，但其中的内容却非常有趣。他讨论了如何利用基本几何形状的知识来识别复杂的物体。在论述和推导结论的过程中，比德曼试图回答一个看似简单的问题：世界上大约有多少独特的“事物”类别？也就是说，如果把所有的事物都相加——包括“摇椅”“企鹅”“跑车”“拉布拉多”“山”和其他所有东西——总数会是多少？

　　这个问题听上去更像一个谜语，而不是科学挑战。但是，比德曼采用了一种基于对英语语言的分析的独特方法，令我非常钦佩。单词在帮助我们对所见事物进行分类方面发挥着基础性的作用，因此他推断，对所有离散且可量化的事物的单词（即英文中的可数名词）进行计数，将是一个很好的起点。然后，他又计算出每个可数名词有多少个真正不同的变体，就像“杯子”这样单一类别的物体可能包括带华丽把手的白色茶具、色彩鲜艳的咖啡杯和普通的透明玻璃杯。由于某些类别比其他类别更具多样性，他通过假设一个合理的平均值将问题简化为一个简单的乘法问题，从而计算出总数。

　　其中的逻辑简单明了，但他的想法之所以如此具有颠覆性，是因为其规模之大。这个想法立即揭示了我们的研究是多么有限，我们的想象力是多么有限，而这两者之外的世界又是多么广阔。这篇论文是一份模糊的影印版，但感觉就像比德曼在直接对我说：“你想要突破吗？这就是代价，这就是需要付出的。”

　　比德曼的数字可以为我们研究人员所追求的雄心壮志提供蓝图，而这个数字是巨大的。无比的大。不是1000个，不是2000个，甚至不是5000个。当然，更不是我们花了几个月搜集的那101个类别。

　　是3万个。

　　我完全不知道要对这个数字作何感想。创建Caltech 101已经让我感觉像是一项无比艰巨的任务，而现在又多了两个数量级。但我已经无法回避这个问题了。他的思想极具价值，具有真正的洞察力，其能量几乎在通过印在纸上的数字迸发出来。更重要的是，我知道无论这个数字注定要带我去哪里，我都将独自前行。我的研究领域仅仅专注于算法，但我对数据思考得越多（尤其是大规模的数据），我就越意识到，这是一个完全未开拓的领域。世界已经选择了它的方向。但我的北极星正引领我向另一个方向前行。

虚阁网(Xuges.com)