OpenAI首席科学家：AI幻觉是个大问题，但很有可能被「治愈」

作者 | Craig S. Smith

来源丨机器之能

编译 |ChatGPT-4 、吴昕

当我们飞速迈向人工智能的未来时，很多评论家都在大声质疑我们是否发展得太快？科技巨头、研究者和投资者都似乎在疯狂开发最先进的人工智能。很多人担心他们是否考虑过 AI 带来的风险呢？

这个问题并非完全无解。可以放心，有数百个聪明的头脑正在考虑反乌托邦可能性以及避免它们的方法。但未来就是未知，ChatGPT 这种强大新技术的影响与互联网出现时一样难以想象——有好的，也会有坏的。未来也肯定会有强大的人工智能系统，我们的孙子辈甚至会有更加强大的人工智能。这是无法阻止的。

我曾与 OpenAI 的联合创始人 Ilya Stutskever 谈过这项新技，就在 OpenAI 的巨型人工智能系统 GPT-4 发布之前。

GPT 是生成式预训练 Transformer（Generative Pre-trained Transformer）的缩写，这三个重要的单词可以帮助我们理解这个荷马史诗般的波吕斐摩斯：

Transformer 是这个巨型系统核心算法的名称、预训练（Pre-trained 是指通过大量文本语料库进行训练，让它理解语言的基本模式和关系——简而言之，让它了解世界。生成（ Generative ），意味着这种人工智能可以从这个基础知识中创造新的思想。

人工智能已经接管了我们生活的许多方面。但即将到来的AI更先进、 也更强大。我们正在进入未知的领域。值得花一点时间考虑一下这意味着什么。但同样重要的是不要反应过度，不要像乌龟一样躲避正照耀我们的阳光。在荷马的史诗《奥德赛》中，独眼巨人波吕斐摩斯把奥德修斯和他的船员困在他的洞穴里，打算吃掉他们。但是奥德修斯设法让这个巨人失明并逃脱了。人工智能不会吃掉我们。

Ilya Sutskever 是 OpenAI 的联合创始人和首席科学家，是大型语言模型 GPT-4 和 ChatGPT 的核心成员之一，可以毫不夸张地说，他正在改变世界。

这不是 Ilya 第一次改变世界了。他是卷积神经网络 AlexNet 的主要推动力量，其惊人的性能在 2012 年震惊了科学界，引发了深度学习革命。

以下是我们对话的编辑记录。

Ilya Sutskever，OpenAI 的联合创始人和首席科学家

CRAIG：Ilya，我知道你出生在俄罗斯。你是因为对计算机科学感兴趣还是其他原因，比如神经科学，才进入这个领域的呢？

ILYA：确实，我出生在俄罗斯。我在以色列长大，然后少年时，我的家人移民到了加拿大。我父母说我从小就对人工智能感兴趣。我也对意识非常感兴趣，它让我感到非常不安，我很好奇什么可以帮助我更好地理解它。

我17岁时就开始和 Geoff Hinton（深度学习的创始人之一，当时是多伦多大学的教授）一起工作了。因为我们搬到了加拿大，我立刻就能加入多伦多大学。我真的很想做机器学习，因为它是人工智能最重要、也很难企及的部分。

我们现在认为计算机可以学习，但是在 2003 年，我们认为计算机无法学习。当时人工智能的最大成就是 Deep Blue（ IBM 的）象棋引擎（在1997 年击败世界冠军加里·卡斯帕罗夫）。

这只是用一种简单的方法来确定一个位置是否比另一个位置更好，不可能适用于现实世界，因为没有学习。学习是一个巨大的谜团，很感兴趣。我运气很好，Geoff Hinton 正好是大学的教授，一拍即合，我加入了他们的团队。

那么智能是如何工作的呢？我们如何让计算机变得更加智能？我的意图很明确，就是为人工智能做出非常小但真正的贡献。能否理解智能如何工作并为之做出贡献？这就是我的最初动机。这几乎是 20 年前的事了。

简而言之，我意识到，如果你在一个足够大的数据集上训练一个大型深度神经网络来完成某些复杂任务，比如视觉任务，你必然会成功。这样做的逻辑是不可约的（ irreducible ）；我们知道人类的大脑可以解决这些任务，并且可以快速地解决它们。而人类的大脑只是一个由慢神经元构成的神经网络。

所以，我们只需要拿一个较小但相关的神经网络，用数据来训练它。计算机内部最好的神经网络将与我们大脑中执行此任务的神经网络相关。

CRAIG：2017年 Attention Is All You Need 论文问世，介绍了自我注意和 transformers。GPT项目是在什么时候开始的？你对 transformers有什么直觉吗？

ILYA：从 OpenAI 成立之初起，我们就在探索一个想法，即预测下一个东西就是你所需的一切。我们用当时更受限制的神经网络探索这个想法，如果你有一个神经网络可以预测下一个单词，它将解决无监督学习。所以，在 GPT之前，无监督学习被认为是机器学习的圣杯。

现在它已经被完全解决，甚至没有人谈论它，但它曾是一个神秘的问题，因此我们在探索这个想法。我非常兴奋，因为预测下一个单词足够好，将为你提供无监督学习。

但我们的神经网络无法胜任此任务。我们使用的是递归神经网络。当 transformer 出现时，就在论文发表的第二天，我们立即意识到，transformers 解决了递归神经网络的局限性，解决了学习长程依赖关系（ long-term dependencies）的问题。

这是一个技术问题。我们立即转向 transformers。因此，新生的 GPT 项目开始使用transformer。它开始工作得更好，当你不断让它变得更大后。

这就导致最终的 GPT-3，基本上是我们今天所处的位置。

CRAIG：目前既有大型语言模型的局限性在于它们的知识被包含在训练它们的语言中。而大部分人类知识，我认为每个人都会同意，是非语言的。

它们的目标是满足提示的统计意义上的一致性，对语言所关联的现实并没有潜在的理解。我问 ChatGPT 关于我自己的情况。它知道我是一名记者，在不同的报纸工作过，但它不停地谈论我从未获得过的奖项，读起来很漂亮，但很少与潜在的现实联系起来。在你未来的研究中有没有什么方法来解决这个问题?

ILYA：我们有多大把握认为今天看到的这些局限性两年后仍将存在？我并不那么有信心。我还想对一个问题的某一部分发表评论，即这些模型只是学习统计规律，因此它们不真正知道世界的本质是什么。

我的观点与此不同。换句话说，我认为学习统计规律比人们看到的更重要。

预测也是一个统计现象。但是要进行预测，需要理解生成数据的基本过程，需要了解更多关于产生数据的世界的知识。

我认为，随着我们的生成模型变得异常优秀，它们对世界及其许多微妙之处的理解将达到令人震惊的程度。它通过文本的镜头看到世界，试图通过投射在互联网上的文本影子了解更多关于世界的信息。

但是，这些文本已经表达了世界。举个最近的例子，很有意思。我们都听说过Sydney（前不久，微软利用 OpenAI 的新技术推出了新版必应搜索引擎，其中内置了初始代号为 Sydney 的聊天机器人。——译者注）是它（必应）的化身。当用户告诉 Sydney 谷歌是比必应更好的搜索引擎时，Sydney 变得好斗和攻击性。

如何思考这种现象？这意味着什么？您可以说，它只是预测人们会做什么，人们确实会这样做，这是真的。但也许我们现在正在达到一个临界点，开始利用心理学语言来理解这些神经网络的行为。

现在让我们来谈谈这些神经网络的局限性。事实上，这些神经网络有产生幻觉的倾向。这是因为语言模型非常擅长学习世界知识，但在生成良好输出方面则略显不足。这其中存在一些技术原因。语言模型在学习各种思想、概念、人物、过程等世界知识方面表现非常出色，但其输出却没有达到预期的水平，或者说还有进一步提升的空间。

因此，对于像 ChatGPT 这样的语言模型，我们引入了一种额外的强化学习训练过程，称为「人类反馈强化学习」（ Reinforcement Learning from Human Feedback，RLHF ）。

在预训练过程中，我们希望它能够学习关于世界的一切。而在来自人类反馈的强化学习中，我们更关心输出结果。如果输出结果不恰当，就不要再这样做了。这样它就能够快速学会生成良好的输出。但这种良好的输出水平并不在语言模型预训练过程中出现。

至于幻觉，它有时会胡言乱语，这也大大限制了它们的用途。但我非常希望通过简单改进后续的人类反馈强化学习，就能教它不再产生幻觉。你可能会问，它真的能学会吗？我的答案是，让我们试试看吧。

我们现在的做法是雇人教会 ChatGPT 如何表现。你只需要与它互动，它就能从你的反应中推断出你想要的东西，比如，你对输出结果不满意。因此，它应该在下一次做些不同的事情。我认为这种方法很有可能（a quite a high chance）完全解决幻觉的问题。

CRAIG：Yann LeCun（ Facebook 首席人工智能科学家、深度学习先驱之一）认为，大型语言模型缺少可参考的、非语言的基础世界模型。我想听听你对此的看法，以及你是否已经进行了相关探索。

ILYA: 我审查过 Yann LeCun 的提案，用不同语言表达了很多想法，可能与当前的范式有一些微小的差异，但在我看来，它们不是很显著。

他的第一个主张是一个系统需要有多模态理解，这样它就不只是从文本中了解世界。我对此的评论是，多模式理解确实是可取的，因为你对世界了解得更多，你对人了解得更多，你对他们的状况了解得更多，系统将能够更好地理解它应该解决的任务是什么，以及他们想要什么。

我们在这方面做了很多工作，最引人注目的是我们已经完成的两个主要神经网络。一个叫 Clip，一个叫 Dall-E。它们都朝着这个多模态方向移动。但我认为这种情况不是非此即彼的：如果你没有视觉，不能从视觉上或视频上理解世界，那么事情就不会成功。

我想要证明这一点。有些东西从图像和图表中更容易学习，但我认为仍然可以只从文本中学习，只是速度更慢。想想颜色的概念。

当然，一个人不能只从文本中学习颜色的概念，但是当你看「嵌入」时——我需要绕一个小弯子来解释「嵌入」的概念。每个神经网络都通过「嵌入」表示单词、句子、概念，这些「嵌入」是高维向量。

我们可以看一下这些高维向量，看看它们彼此之间有什么相似之处；神经网络如何看待这个概念或那个概念？所以，机器可以通过嵌入向量，知道紫色和蓝色比红色更相似，红色和橙色比紫色更相似。它只通过文本就知道这些。这是怎么做到的呢？

如果你看得见，就会立刻看到颜色差异。如果只有文字，你就需要更长时间，也许你知道如何说话，也理解语法，单词和语法，但直到很久以后才真正开始理解颜色。所以，这就是我关于多模态性必要性的观点：它不是必要的，但肯定是有用的。这是一个值得追求的方向。我只是认为它不是非此即彼的。

这也是为什么（LeCun 的）论文中声称，最大挑战之一是预测具有不确定性的高维向量。

但我发现令人惊讶的是，在这篇论文中未被承认的是，当前的自回归 transformers （ autoregressive transformers ）已经具有这种性质。

举两个例子。一个是给定书中的一页，预测书中的下一页。接下来可能会有很多页。这是一个非常复杂的高维空间，他们处理得很好。这同样适用于图像。这些自回归 transformers 在图像上工作得非常完美。

例如，和 OpenAI 一样，我们在 iGPT 上做了一些工作。我们只是拿了一个 transformers 把它应用到像素上，表现得非常好，能以非常复杂和微妙的方式生成图像。Dall-E 1 也是一样的。

所以，这篇论文强调现有方法无法预测高维分布的部分，我的观点是（它们）肯定是可以的。

CRAIG：按你说的，有一群人类训练师正在使用 ChatGPT 或一个大型语言模型来指导它有效地强化学习，直觉上，这不像是一种教会模型掌握语言潜在现实的有效方法。

ILYA：我不同意这个问题的措辞。我认为，我们预先训练过的模型已经知道了它们需要知道的关于潜在现实的一切。他们已经有了这些语言知识，也有大量关于世界上存在的产生这种语言的过程的知识。

大型生成模型从他们的数据中学到的东西——在这种情况下，大型语言模型——是产生这些数据的真实世界过程的压缩表示，这不仅意味着人和他们的想法，他们的感受，还意味着人们所处的条件以及他们之间存在的互动。一个人可能处于不同的情境，而所有这些情境信息都是压缩过程的一部分，由神经网络表示，以生成文本。语言模型越好，生成模型越好，保真度越高，它就能更好地捕捉这个过程。

现在，正如你所描述的那样，这些训练师的确也在使用人工智能辅助。这些人不是独自行动的，他们正在使用我们的工具，而工具则承担了大部分工作。但是，你确实需要有人来监督和审核他们的行为，因为你希望最终实现非常高的可靠性。

确实有很多动机使其尽可能高效和精确，这样得到的语言模型将尽可能表现良好。

ILYA：是的，这些人类训练师正在教授模型所需的行为。他们使用人工智能系统的方式不断提高，因此他们自己的效率也在不断提高。

这跟人类教育没什么不同。我们需要额外培训，确保模型知道幻觉不可行。人类或者其他方法能够教会它。

某些因素应该会奏效。我们很快就会找到答案。

CRAIG: 你现在的研究方向是什么？

ILYA: 我不能详细谈论我正在从事的具体研究，但是我可以简单地提到一些广义的研究方向。我非常有兴趣使这些模型更加可靠、可控，让它们从教材数据中更快地学习，减少指导。让它们不会出现幻觉。

CRAIG: 如果你有足够的数据和足够大的模型，能否为一些看似无法解决的冲突找出让每个人都满意的最佳解决方案？你是否思考过这将如何帮助人类管理社会？

ILYA：这是一个很大的问题，因为这是一个更加面向未来的问题。我认为，我们的模型在许多方面将比现在强大得多。

政府将如何使用这项技术作为各种建议的来源，目前还无法预测。关于民主的问题，我认为未来可能发生的一件事是，因为这些神经网络将无处不在，对社会具有巨大影响力，因此可能会探索出更让人满意的民主方式，比如每个公民向它们输入一些信息，包括他们希望事态如何发展等。这可能是一种非常高度的民主方式，从每个公民那里获得更多信息，这些信息被聚合起来，然后搞清楚我们到底希望系统如何运作。现在它引发了很多问题，但这是未来可能发生的一件事。

（聚合庞大信息意味着模型可能分析某种情境下的所有变量，那么）分析所有变量意味着什么呢?最终你需要找出一些真正重要的变量，进行深入研究。这就像为了深入了解，我可以读一百本书，也可以仔细读一本书。同时，我认为从根本上说，理解所有事情是不可能的。让我们举一些简单的例子。

任何时候，社会上出现任何复杂情况，即使是在一个公司，一个中等规模公司，它已经超出了任何一个人的能力范围。如果以正确方式构建人工智能系统，它就在各种情境下极大地帮助到我们。