一本讲透GPT原理及未来的书丨CV荐书

ChatGPT大火，甚至已经开始改变人类的工作和思考方式，充分了解并且认识它，同时看到未来的机会，已经成为每个人迫不及待需要建立的心智。而放眼全球，唯一一本能够讲透GPT的原理以及未来的书，唯有斯蒂芬·沃尔弗拉姆的这本《这就是ChatGPT》。

【资料图】

截止7月12日，留言区点赞第2、4、6的读者将获得赠书。

无论你是否了解他，我都想再次诚意的为你介绍这位传奇人物的经历。

他是伊利诺斯大学物理学、数学和计算机科学教授，“科学天才”。15岁发表首篇粒子物理方面的学术论文；19岁，到加州理工学院研究基本粒子物理学，一年内获得理论物理学博士学位。随后他和费曼一起研究起元胞自动机。

同时也是软件工程师、企业老板，他创办的Wolfram Research软件公司，研发出当今世界四大数学软件之一Mathematica。Mathematica的发布标志着现代科技计算的开始，它是世界上通用计算系统中最强大的系统。沃尔夫勒姆本人也因为这个发明被认为是“人类的伟大赞助者”，并跨入千万富翁的行列。

1981年，沃尔弗拉姆被授予麦克阿瑟“天才人物”奖，并成为该奖有史以来最年轻的获得者。

2009年5月，沃尔弗拉姆发布了一个搜索引擎WolframAlpha。“第一个真正实用的人工智能”。可以给出针对问题的有效答案，所以，WolframAlpha问世不久后便被称为“谷歌杀手”。他跟乔布斯也是好友，比如苹果手机助手Siri，背后的知识库，其实就是Wolfram|Alpha支持的。

他的大部头著作，1197页的《一种新科学》（A New Kind of Science）在2002年出版的时候登上了亚马逊的榜首，畅销无比。

他是当今世界活着的最聪明的人之一，最硬核的思考者。

1

那么，ChatGPT到底在做什么？它为什么能做到这些？

ChatGPT的基本概念在某种程度上相当简单：首先从互联网、书籍等获取人类创造的海量文本样本，然后训练一个神经网络来生成“与之类似”的文本。特别是，它能够从“提示”开始，继续生成“与其训练数据相似的文本”。

正如我们所见，ChatGPT中的神经网络实际上由非常简单的元素组成，尽管有数十亿个。神经网络的基本操作也非常简单，本质上是对于它生成的每个新词（或词的一部分），都将根据目前生成的文本得到的输入依次传递“给其所有元素一次”（没有循环等）。

值得注意和出乎意料的是，这个过程可以成功地产生与互联网、书籍等中的内容“相似”的文本。ChatGPT不仅能产生连贯的人类语言，而且能根据“阅读”过的内容来“循着提示说一些话”。它并不总是能说出“在全局上有意义”（或符合正确计算）的话，因为（如果没有利用Wolfram|Alpha的“计算超能力”）它只是在根据训练材料中的内容“听起来像什么”来说出“听起来正确”的话。

ChatGPT 的具体工程非常引人注目。但是，（至少在它能够使用外部工具之前）ChatGPT“仅仅”是从其积累的“传统智慧的统计数据”中提取了一些“连贯的文本线索”。但是，结果的类人程度已经足够令人惊讶了。

正如我所讨论的那样，这表明了一些至少在科学上非常重要的东西：人类语言及其背后的思维模式在结构上比我们想象的更简单、更“符合规律”。ChatGPT 已经隐含地发现了这一点。但是我们可以用语义语法、计算语言等来明确地揭开它的面纱。

ChatGPT 在生成文本方面表现得非常出色，结果通常非常类似于人类创作的文本。这是否意味着 ChatGPT 的工作方式像人类的大脑一样？它的底层人工神经网络结构说到底是对理想化大脑的建模。当人类生成语言时，许多方面似乎非常相似。

当涉及训练（即学习）时，大脑和当前计算机在“硬件”（以及一些未开发的潜在算法思想）上的不同之处会迫使 ChatGPT 使用一种可能与大脑截然不同的策略（在某些方面不太有效率）。

还有一件事值得一提：甚至与典型的算法计算不同，ChatGPT 内部没有“循环”或“重新计算数据”。这不可避免地限制了其计算能力—即使与当前的计算机相比也是如此，更谈不上与大脑相比了。

我们尚不清楚如何在“修复”这个问题的同时仍然让系统以合理的效率进行训练。但这样做可能会使未来的 ChatGPT 能够执行更多“类似大脑的事情”。当然，有许多事情大脑并不擅长，特别是涉及不可约计算的事情。对于这些问题，大脑和像 ChatGPT 这样的东西都必须寻求“外部工具”，比如 Wolfram 语言的帮助。

但是就目前而言，看到 ChatGPT 已经能够做到的事情是非常令人兴奋的。在某种程度上，它是一个极好的例子，说明了大量简单的计算元素可以做出非凡、惊人的事情。它也为我们提供了 2000 多年以来的最佳动力，来更好地理解人类条件（human condition）的核心特征—人类语言及其背后的思维过程—的本质和原则。

2

前方的路

机器学习是一种强大的方法，特别是在过去十年中，它取得了一些非凡的成功—ChatGPT 是最新的成功案例。除此之外，还有图像识别、语音转文字、语言翻译……在每个案例中，都会跨越一个门槛—通常是突然之间。一些任务从“基本不可能”变成了“基本可行”。

但结果从来不是“完美”的。也许有的东西能够在 95% 的时间内运作良好。但是不论怎样努力，它的表现在剩下的 5% 时间内仍然难以捉摸。对于某些情况来说，这可能被视为失败。但关键在于，在各种重要的用例中，95% 往往就“足够好了”。原因也许是输出是一种没有“正确答案”的东西，也许是人们只是在试图挖掘一些可能性供人类（或系统算法）选择或改进。

拥有数百亿参数的神经网络一次一个标记地生成文本，能够做到ChatGPT 所能做的事情，这着实是非同凡响的。

鉴于这种戏剧性、意想不到的成功，人们可能会认为，如果能够“训练一个足够大的网络”，就能够用它来做任何事情。但事实并非如此。关于计算的基本事实，尤其是计算不可约的概念，表明它最终是无法做到的。

不过不要紧，重点在于我们在机器学习的实际历史中看到的：会取得（像 ChatGPT 这样的）重大突破，进步不会停止。更重要的是，我们会发现能做之事的成功用例，它们并未因不能做之事受阻。虽然“原始 ChatGPT”可以在许多情况下帮助人们写作、提供建议或生成对各种文档或交流有用的文本，但是当必须把事情做到完美时，机器学习并不是解决问题的方法—就像人类也不是一样。

这正是我们在以上例子中看到的。ChatGPT 在“类人的部分”表现出色，因为其中没有精确的“正确答案”。但当它被“赶鸭子上架”、需要提供精确的内容时，往往会失败。这些例子要表达的重点是，有一种很好的方法可以解决该问题—将 ChatGPT 连接到Wolfram|Alpha（沃尔弗拉姆公司所研发的新一代的搜索引擎，能根据问题直接给出答案的网站）以利用其全部的计算知识“超能力”。

3

为ChatGPT赋予“思想”

在 Wolfram|Alpha 内部，一切都被转换为计算语言，转换为精确的Wolfram 语言代码。这些代码在某种程度上必须是“完美”的，才能可靠地使用。关键是，ChatGPT 无须生成这些代码。它可以生成自己常用的自然语言，然后由 Wolfram|Alpha 利用其自然语言理解能力转换为精确的 Wolfram 语言。

在许多方面，可以说 ChatGPT 从未“真正理解”过事物，它只“知道如何产生有用的东西”。但是 Wolfram|Alpha 则完全不同。因为一旦 Wolfram|Alpha 将某些东西转换为 Wolfram 语言，我们就拥有了它们完整、精确、形式化的表示，可以用来可靠地计算事物。不用说，有很多“人类感兴趣”的事物并没有形式化的计算表示—尽管我们仍然可以用自然语言谈论它们，但是可能不够准确。对于这些事物，ChatGPT 只能靠自己，而且能凭借自己的能力做得非常出色。

就像我们人类一样，ChatGPT 有时候需要更形式化和精确的“助力”。重点在于，它不必用“形式化和精确”的语言表达自己，因为 Wolfram|Alpha 可以用相当于 ChatGPT 母语的自然语言进行沟通。当把自然语言转换成自己的母语 —Wolfram 语言时，Wolfram|Alpha 会负责“添加形式和精度”。我认为这是一种非常好的情况，具有很大的实用潜力。

这种潜力不仅可以用于典型的聊天机器人和文本生成应用，还能扩展到像数据科学或其他形式的计算工作（或编程）中。从某种意义上说，这是一种直接把 ChatGPT 的类人世界和 Wolfram 语言的精确计算世界结合起来的最佳方式。

ChatGPT 能否直接学习 Wolfram 语言呢？答案是肯定的，事实上它已经开始学习了。我十分希望像 ChatGPT 这样的东西最终能够直接在 Wolfram 语言中运行，并且因此变得非常强大。

这种有趣而独特的情况之所以能成真，得益于 Wolfram 语言的如下特点：它是一门全面的计算语言，可以用计算术语来广泛地谈论世界上和其他地方的事物。

Wolfram 语言的总体概念就是对我们人类的所思所想进行计算上的表示和处理。普通的编程语言旨在确切地告诉计算机要做什么，而作为一门全面的计算语言，Wolfram 语言涉及的范围远远超出了这一点。实际上，它旨在成为一门既能让人类也能让计算机“用计算思维思考”的语言。

许多世纪以前，当数学符号被发明时，人类第一次有了“用数学思维思考”事物的一种精简媒介。它的发明很快导致了代数、微积分和最终所有数学科学的出现。Wolfram 语言的目标则是为计算思维做类似的事情，不仅是为了人类，而且是要让计算范式能够开启的所有“计算 XX 学”领域成为可能。

我个人因为使用 Wolfram 语言作为“思考语言”而受益匪浅。过去几十年里，看到许多人通过 Wolfram 语言“以计算的方式思考”而取得了很多进展，真的让我喜出望外。

那么 ChatGPT 呢？它也可以做到这一点，只是我还不确定一切将如何运作。但可以肯定的是，这不是让 ChatGPT 学习如何进行 Wolfram 语言已经掌握的计算，而是让 ChatGPT 学习像人类一样使用 Wolfram 语言，让 ChatGPT 用计算语言（而非自然语言）生成“创造性文章”，等等。

我在很久之前就讨论过由人类撰写的计算性文章的概念，它们混合使用了自然语言和计算语言。现在的问题是，ChatGPT 能否撰写这些文章，能否使用 Wolfram 语言作为一种提供对人类和计算机而言都“有意义的交流”的方式。是的，这里存在一个潜在的有趣的反馈循环，涉及对 Wolfram 语言代码的实际执行。

但至关重要的是Wolfram 语言代码所代表的“思想”的丰富性和“思想”流—与普通编程语言中的不同，更接近 ChatGPT 在自然语言中“像魔法一样”处理的东西。

换句话说，Wolfram 语言是和自然语言一样富有表现力的，足以用来为 ChatGPT 编写有意义的“提示”。没错，Wolfram 语言代码可以直接在计算机上执行。但作为 ChatGPT 的提示，它也可以用来“表达”一个可以延续的“想法”。它可以描述某个计算结构，让ChatGPT“即兴续写”人们可能对于该结构的计算上的说法，而且根据它通过阅读人类写作的大量材料所学到的东西来看，这“对人类来说将是有趣的”。

ChatGPT 的意外成功突然带来了各种令人兴奋的可能性。就目前而言，我们能马上抓住的机会是，通过 Wolfram|Alpha 赋予 ChatGPT计算知识超能力。这样，ChatGPT 不仅可以产生“合理的类人输出”，而且能保证这些输出利用了封装在 Wolfram|Alpha 和 Wolfram语言内的整座计算和知识高塔。

《这就是ChatGPT》

[美] 斯蒂芬·沃尔弗拉姆著 WOLFRAM传媒汉化小组译

标签：