前言

本书试图用第一性原理解释ChatGPT的工作原理，以及它为何奏效。可以说这是一个关于技术的故事，也可以说这是一个关于科学的故事、一个关于哲学的故事。为了讲述这个故事，我们必须汇集数个世纪以来的一系列非凡的想法和发现。

看到自己长期以来感兴趣的众多事物一起得到突飞猛进的发展，我感到非常兴奋。从简单程序的复杂行为到语言及其含义的核心特征，再到大型计算机系统的实用性，所有这些都是ChatGPT故事的一部分。

ChatGPT的基础是人工神经网络（本书中一般简称为神经网络或网络），后者最初是在20世纪40年代为了模拟理想化的大脑运作方式而发明的。我自己在1983年第一次编写出了一个神经网络，但它做不了什么有趣的事情。然而40年后，随着计算机的速度提高上百万倍，数十亿页文本出现在互联网上，以及一系列重大的工程创新，情况已然大不相同。出乎所有人意料的是，一个比我在1983年构建的神经网络大10亿倍的神经网络能够生成有意义的人类语言，而这在之前被认为是人类独有的能力。

本书包含我在ChatGPT问世后不久写的两篇长文。第一篇介绍了ChatGPT，并且解释了它为何拥有像人类一样的生成语言的能力。第二篇则展望了ChatGPT的未来，预期它能使用计算工具来做到人类所不能做到的事，特别是能够利用Wolfram|Alpha系统对知识进行计算（computational knowledge，在后文中简称为计算知识）的“超能力”。

虽然距离ChatGPT的发布仅过了三个月，我们也才刚刚开始了解它给我们的实际生活和思维能力可能带来的影响，但就目前而言，它的到来提醒我们，即使在已经发明和发现一切之后，仍有收获惊喜的可能。

斯蒂芬 • 沃尔弗拉姆
2023年2月28日