我看见的世界(51)_李飞飞

五一

　　一回到美国，我就开始了比赛的筹备工作。乍看之下，比赛规程似乎简单明了：使用ImageNet来训练算法，用一组算法从未见过的图像对其进行测试，评估算法对图像标注的准确率，以此计算排名，总错误率最低的算法胜出。然而，从实际操作上看，将数据集转化为竞赛本身就是一项科学挑战。

　　在象棋、扑克或篮球等比赛中，胜负的概念简单明了。然而，在科学竞赛中宣布获胜者类似于做出了一项承诺：承诺不仅参赛算法在某些方面表现优异，而且算法设计对整个领域做出了贡献；承诺获胜算法能给我们带来全新的启示、深刻的见解，甚至变革性的成就；承诺比赛结果就是迈向北极星的下一步。这是一个重要而庄严的声明，发表的时候必须充满信心。

　　在这种情况下，竞赛的严谨性和透明度都至关重要。为了实现这两大目标，我们起草了大量文件，详细解释算法的分析方法，解读对算法性能进行量化的精确公式。除此之外，灵活性也很重要。毕竟，当给照片分配标签时，就算是人类，也可能会对哪个物体最相关产生分歧。例如，想象在一张水果摆盘的图片里，草莓和苹果都非常显眼，因此都可以被视为照片的核心特征。如果给这张图片标注“草莓”而不是“苹果”，算“错误”吗？

　　为了避免误判表现优异的算法，我们允许算法给每个条目添加五个标签，标签以相关性排序。比如，在上面的例子中，“草莓”和“苹果”这两个标签都算正确答案。我们把这种评估标准叫作“五大标签错误率”。这种标准可以鼓励参赛者明智地分散识别风险，确保他们的能力得到最充分、最公正的展现。

　　就像ImageNet本身的创建过程一样，比赛带来了一连串意料之外的挑战。我们花了数周时间研究与参赛者共享数据集的统筹问题，最终选择分发一个精简的子集：比赛所用数据库约占ImageNet图像总量的十分之一、总类别数的二十分之一，共包含约140万张图片，涵盖1000种日常物品、植物和动物。为了确保为算法提供新颖的测试，我们再现了ImageNet的大部分开发过程——我们重新下载并标注了数十万张新图片，又进行了一轮众包标注。总之，我们花了几个月的时间来筹备比赛。

　　在筹备过程中，邓嘉的支持团队不断壮大，其中就有像奥尔佳·鲁萨科夫斯基（Olga Russakovsky）这样的新人。奥尔佳是一位聪明且充满活力的研究生，一直在寻找有意思的项目来贡献自己的力量。她双眼有神，卷发及肩，说起话来很有感染力，在人群中非常显眼。从我们第一次见面开始，我就很喜欢她，尤其让我印象深刻的是她身上那种不着痕迹的反差：她性格活泼，很容易被误认为是土生土长的加州人，但事实上，她出生在乌克兰，经常谈起她还住在哈尔科夫的祖母。她不仅智商高，也是我们系里少有的社交能手。我知道她有足够的才智在幕后为项目做出贡献，但我也暗自揣测，也许有一天，她可以利用自己天生的才智成为代表项目的公众人物。

　　＊

　　“激动吗？”奥尔佳问道。

　　我确实很激动。网站第二天就要正式上线了，竞赛消息也会同时公布。团队正在实验室里熬夜做收尾工作。

　　“告诉我，”邓嘉说，“你在这里的终极目标是什么？”

　　ImageNet项目进入最黑暗的日子以来，我几乎再也没有思考过其他问题。考虑到我们所做的一切工作，我发现仅仅将ImageNet视为一个数据集就过于狭隘了。即使到了现在——尤其是现在，在比赛近在眼前的时刻——ImageNet仍然只是一个假设、一个赌注，赌的是计算机视觉领域最需要的东西，是获得长久以来哺育着人类感知能力的多样性和变化性。

　　我乐观地认为突破就在眼前，但又担心通往突破的道路崎岖难行，毕竟ImageNet体量庞大，对任何一种算法来说都是难以驾驭的。我们讨论了目前流行的各种算法，如支持向量机（Support Vector Machine，SVM）、随机森林（random forest）、自适应提升（boosting），甚至是我和彼得罗在单样本学习论文中使用的贝叶斯网络，都会不堪重负，这迫使我们去创造一些真正的新算法。

　　“我不认为ImageNet会把现有的算法变得更好。”我说，“我认为它会让它们过时。”

　　＊

　　比赛的正式名称为“ImageNet大型视觉识别挑战赛”（ImageNet Large Scale Visual Recognition Challenge，ILSVRC），对所有人开放，获胜者会即刻获得认可。首届比赛将于2010年举行，5月开放报名，9月统计结果，同年晚些时候，会在克里特岛举行的欧洲计算机视觉大会（European Conference on Computer Vision，ECCV）研讨会上公布获胜者。在研究界看来，赛事的准备工作似乎进行得天衣无缝，但其实这多亏了幕后一些外界力量的帮助。

　　考虑到我们缺乏办赛经验，再加上ImageNet的知名度还很低，我们联系了PASCAL VOC的创始组织者马克·埃弗林厄姆（Mark Everingham）。马克是牛津大学的研究员，也是计算机视觉领域冉冉升起的新星。当时PASCAL VOC已经进入第六个年头，而ImageNet才刚刚起步。马克非常热心，同意把ImageNet作为PASCAL VOC竞赛的一个新赛道。这一举动非常慷慨，让我们有机会在已经建立起来的框架中学习相关技巧。

　　当时与计算机视觉相关的竞赛相对较少，因此创办新竞赛足以激起不小的水花，吸引一些早期的关注。我们一开始就收到了150份报名表，最终共有11个团队提交了35个参赛作品。虽然参赛算法不是很多，但我们终于迈出了第一步。

　　在某种程度上，在首届ImageNet挑战赛前夕，我们的心情甚至比一年前ImageNet发布的时候还要激动。发布产品是我们向世界展示自己创造的东西；而现在，世界将向我们展示他们用ImageNet创造的东西。我们整个项目都是以生物视觉原理为基础，而挑战赛就是对相关生物影响的有力延续。ImageNet的基本理念是算法需要直面其所处环境的全部复杂性和不可预测性，也就是真实世界的本质。竞赛将使算法面对的环境充满真正的竞争压力。

　　就像我们的三叶虫祖先漂流在古老海洋中一样，现代世界的计算机视觉算法即将坠入自己的进化熔炉，接受严峻的考验。提交的作品代表了使用ImageNet完成的第一代研究成果。手握这些作品，我不禁想，这是否就是答案了？我们即将瞥见某个新的前沿了吗？

　　然而，现实却与我们的期望背道而驰。

虚阁网(Xuges.com)