推荐序
一场影响深远的秘密竞拍
——深度学习推动全球科技产业变革的“发令枪”
就在我写这篇文章的几天前，美国时间2022年9月30日，埃隆·马斯克（Elon Musk）带着技术团队刚刚举办了一年一度的特斯拉人工智能日（Tesla AI Day），展示了他们在自动驾驶和人形机器人领域最新的进展，包括基于FSD（完全自动驾驶）芯片的擎天柱机器人、基于占用网络（Occupancy）的自动驾驶感知算法，以及云端自动驾驶训练平台Dojo。由于埃隆·马斯克的个人魅力和特斯拉在电动汽车领域的全球领导地位，特斯拉人工智能日已经成为“全球科技行业的春晚”。但是毫无疑问，如果没有最近10年的“深度学习革命”，就不会有特斯拉今天在自动驾驶领域取得的惊人进步。
《深度学习革命》这本书精彩而真实地再现了人工智能领域迄今为止最激动人心的进军——深度学习的发展历程。《纽约时报》知名科技记者凯德·梅茨（Cade Metz）生动翔实地讲述了这段历史：一群少数派学者，在长期不被主流学术圈认可的情况下，坚信深度神经网络会改变世界，并在很多年的时间里在黑暗中持续探索，终于推动了人工智能技术在语音识别、图像识别、自然语言理解、博弈论、生物制药、搜索、推荐和自动驾驶等诸多领域取得改变世界的突破性进展。
这本书对我个人来说也有特别的意义，因为其开篇的前言讲述了10年前我亲身推动发起的一场竞拍，也是一段尘封的往事：我给杰夫·辛顿（Geoff Hinton）发出的一封电子邮件，导致了一场发生在美国加州太浩湖畔的秘密竞拍。最终，谷歌从4家竞争公司中脱颖而出，以4 400万美元的价格成功地收购了杰夫·辛顿和他的两名学生组成的研究团队。这也随后拉开了百度、谷歌、微软、DeepMind（深度思考）、英伟达等全球高科技公司竞相重度投资深度学习技术研发，并展开激烈的人才竞争的序幕。而在那次事件之前，深度学习基本上还是在象牙塔里的纯学术研究，并不被众多科技公司重视。所以，这次秘密竞拍事件可以说是深度学习推动全球科技产业变革的“发令枪”。
凯德·梅茨采访了参与该事件的几乎所有人，还原了整个事件的全貌。其中一些有趣的细节，连我也是读了这本书才知道的，因为当年每个参与竞拍的人都不知道其他家的底牌。有的披露令我忍俊不禁，比如，由于担心影响拍卖价格，辛顿和他的两名学生在太浩湖哈拉斯赌场酒店731房间里手忙脚乱地掩盖老教授当时糟糕的健康状况，而当时我敲门的时候完全不知道；再比如，我离开时把背包落在了他们房间里，他们三人还犹豫着要不要打开我的包，看看我出价的底牌……更有些细节披露，让我既觉得有趣，又感慨万千。我当时百分之百地确信三家竞拍对手里一定有谷歌，还有一家我猜大概率是微软，但不是百分之百确信，直到竞拍后，我在从旧金山回北京的航班上碰到微软研究院的学者邓力博士。我和邓力属于业界很早的一批意识到深度学习重要性的学者，已经是多年的朋友了。我们俩于是在飞机上聊天，拐弯抹角地想搞清楚对方公司是不是参与了竞拍。尽管我们谁也不说出实情，但是下飞机的时候，我们俩都已经百分之百确信对方公司是竞拍对手之一。
10年来，我一直猜不到第三家竞拍对手是谁。我当时觉得可能是IBM（国际商业机器公司）或者Nuance（语音识别技术公司），但是读了这本书之后，我才恍然大悟——是DeepMind。它当时还是一家成立仅两年的名不见经传的小型初创公司，竟然要出价收购“深度学习之父”杰夫·辛顿的公司，可见当年DeepMind的首席执行官戴密斯·哈萨比斯（Demis Hassabis）有何其远大的雄心和抱负，难怪后来DeepMind推出了震惊世界的AlphaGo（阿尔法围棋）。最近，DeepMind又在《自然》杂志上发表论文，他们用强化学习技术发现了50年来最快的矩阵乘法算法。
我在这里顺便补充一些背景，关于当初我为什么会发出邮件联系辛顿，进而扣响了深度学习产业变革的发令枪。2012年4月，我离开了美国硅谷的NEC实验室，回到北京，加入百度，领导百度新成立的多媒体部，包括语音识别团队和图像识别团队，这也是后来IDL（Institute of Deep Learning，百度深度学习研究院）的前身。那个时候，深度学习在中国还是非常小众的研究方向，几乎没有任何研究机构关注深度学习。我利用那年应邀在清华大学计算机系主讲“龙星计划”课程的机会，系统性地做了深度学习方面的讲座，致力于推动深度学习在中国的发展。在百度内部，我也带领多媒体部从事深度学习方面的多个项目的开发，包括移动手机上的语音搜索和图像搜索，并且开始用GPU（图形处理器）进行深度学习的并行训练。那年9月，我专门给百度首席执行官李彦宏演示了我们的一些深度学习项目的进展，他感到非常震惊，没想到现在算法进展得这么快，这改变了他的认知。我记得，他还专门给全公司的产品经理发邮件，要大家关注深度学习的最新进展。
2012年10月，杰夫·辛顿和他的两名学生——亚历克斯·克里哲夫斯基（Alex Krizhevsky）和伊利亚·萨特斯基弗（Ilya Sutskever），在ImageNet图像识别比赛上拿了冠军，并且发表论文介绍了冠军算法AlexNet。这件事对于别人可能只是个新闻，但是对我来说意义非凡！因为我曾经带领NEC实验室的研究团队于2010年拿过第一届ImageNet竞赛的冠军。我们采用了多层的稀释编码方法——一种非监督的卷积深度学习算法，来提取图像特征，然后用浅层的监督学习方法来做识别。当时，我们也试过监督学习的卷积神经网络，但是训练很难收敛。所以，我应该是世界上最了解辛顿团队用卷积神经网络赢得ImageNet竞赛这件事的重要意义的人。当时我感到兴奋不已，就像触电了一样，于是立刻写电子邮件给辛顿，迫切地表达了要和他深入合作的想法。
辛顿很快就回复了，说很愿意合作，但是希望百度能提供一些研究经费。我说没问题啊，大概需要多少钱？辛顿说，大概100万美元吧。我于是去找首席执行官李彦宏，对他说我希望有足够的经费支持辛顿与百度在深度学习研究方面开展合作，李彦宏非常支持。于是，我就回复辛顿说没问题，百度很愿意出研究经费。他一方面表示感谢，一方面很绅士地问我，是否介意他也去问一下谷歌的兴趣。我当时有点儿后悔，猜我可能回答得太快了，让辛顿意识到了巨大的机会。但是，我也只能大度地说不介意。结果，他不只问了谷歌，还问了其他一些公司。大概11月的时候，他告诉我，还有几家公司表示要和他合作，而且他注册了一家公司，叫DNNresearch，准备让各家竞争者以秘密竞拍的方式来做团队收购。我心里想，辛顿真是聪明，不仅会做研究，还很有生意头脑。12月初，我飞往美国旧金山，租了一辆车，开车去了太浩湖，参加一年一度的机器学习顶级盛会NIPS（Neural Information Processing Systems，神经信息处理系统大会），同时在那里与另外三家公司一起竞拍杰夫·辛顿的团队。我时刻与李彦宏以及时任百度投资副总裁汤和松保持沟通，并且代表百度做了第一次报价——1 200万美元。
会议结束之后，我飞回了北京。尽管竞拍失败，但我还是很开心的。我想我的目的也达到了，因为李彦宏亲眼见证了国际巨头不惜花费巨资来投资深度学习研发，这让他下定决心自己把深度学习做起来。所以，2013年1月，百度在年会上宣布要组建IDL，并招募全世界顶级的人才。为了提高对人才的吸引力，李彦宏亲任院长，我来担任常务副院长。IDL开创了中国公司建立前沿人工智能研发机构的先河，后来，中国几乎所有的大型科技公司都组建了类似的机构。IDL率先把深度学习技术应用到语音、图像、广告、搜索等方方面面的领域，招聘和培养了一批顶级人才，现在，这些人才在中国人工智能领域可谓群星璀璨。IDL启动的项目，包括PaddlePaddle（百度深度学习平台）、百度自动驾驶，到今天也属于中国最有影响力的技术项目。后来，百度自动驾驶成为业界的“黄埔军校”，百度前员工创立的自动驾驶公司占据了中国自动驾驶创业的大半壁江山。
我自己的职业生涯也如此，我从一名在硅谷从事基础研究的实验室主任变成了一个大型研发团队的管理者，并且使自己带领的团队研发的技术被上亿名用户使用。我很感谢百度能给予我一个这样的舞台。2015年夏天，我从百度离职，迈向新的征程，创立了地平线。地平线创业的想法也来自我在IDL工作期间的一个观察：GPU运行深度学习算法的效率是CPU（中央处理器）的几十倍，但是GPU本来是为图形渲染设计的，所以，用GPU做深度学习是无心插柳的结果。那么，我进一步想，如果专门为深度学习设计加速芯片，会不会效率更高？答案是显而易见的。于是，地平线开辟了中国深度学习芯片创业的赛道。
在过去的10年里，深度学习改变了人工智能，也改变了世界。参与那场拍卖的大部分人今天都还活跃在科技的舞台上。2019年，杰夫·辛顿与约书亚·本吉奥（Yoshua Bengio）、杨立昆（Yann LeCun）共同获得了计算机领域的最高奖——图灵奖。他的两名学生之一亚历克斯·克里哲夫斯基是AlexNet最主要的贡献者，加入谷歌后似乎动静不是很大。但是，另外一名学生伊利亚·萨特斯基弗后来与埃隆·马斯克等人联合创立了著名的OpenAI（人工智能研究公司），打造了在强化学习领域几乎与DeepMind齐名的研究机构。辛顿一直都非常感谢我，有一次我在加拿大温哥华的一场学术会议上碰到他，他非常热情地请我去餐馆吃饭。我仍记得，由于他的腰背部的问题，他不能坐在椅子上，只能双腿跪在地上，餐馆里的服务员用奇怪的眼光看着我们。代表微软参与了竞拍的邓力博士，后来成为世界上最大的对冲基金之一——Citadel（城堡投资）的首席人工智能科学家。最具传奇色彩的是戴密斯·哈萨比斯，他创立的DeepMind后来被谷歌收购，公司开发的AlphaGo震惊了全世界，激起了无数人对人工智能的热情。最近，我看到新闻，我在NEC实验室的前同事科拉伊·卡武库奥格鲁（Koray Kavukcuoglu），现在DeepMind的研究副总裁，成为2022年度新晋英国皇家工程院院士。DeepMind此前另一位当选院士的是创始人哈萨比斯，他们两人都为AlphaGo做出了杰出的贡献。
深度学习领域发生的很多事情，包括我自己的职业生涯和创业经历，都和那场太浩湖畔的竞拍有着某种奇妙的联系。最让我感动的是，经历过那场竞拍的大部分人到今天都在努力奋斗着，没有人懈怠或躺在功劳簿上，包括我自己，2015年创立的地平线今天也成为行业里有影响力的科技企业。我们这些人都对人工智能的无限可能充满着孩童般的好奇，每天享受着技术改变世界带来的乐趣和满足感，并通过技术和产品让这个世界变得更加美好。
《深度学习革命》这本书并不是侧重在讲一个个研究成果的技术概念，而是在讲推动这些研究进展的背后这群人。人工智能领域最近取得的突飞猛进的进展，关键就在于有一群执着、热情和可爱的研究者。任何伟大的成就，其可贵之处都在于人的精神。由于这场竞拍的“秘密”属性，我相信这本书的开篇前言对读者来说就足够精彩，充满了故事性。而就整本书而言，凯德·梅茨善于把科技故事讲述得十分生动，对于希望了解深度学习基本概念和发展脉络的非技术背景的读者，这本书读来让人觉得轻松、有趣。所以，我高度推荐这本书。
余凯
地平线创始人兼首席科学家
2022年10月3日