Altman首次自曝GPT-5加急训练中!暗示比GPT-4更复杂,无法预测真实能力

转载
366 天前
2016
AI之势

文章转载来源:AI之势

原文来源:新智元

图片来源:由无界 AI生成

「OpenAI正在开发下一代大模型GPT-5。我们的意义所在,就是打造超凡脱俗的神奇AI智能」。

这是Sam Altman最近接受FT的一次采访中,首次对外透露了更多OpenAI的计划。

这篇文章信息量巨大!

他不仅谈到了OpenAI的融资想法,英伟达芯片短缺问题、AGI未来,甚至自曝GPT-5正在研发中。

还记得今年4月,OpenAI就表示他们不会训练GPT-5,并且「在一段时间内不会」。

没想到,OpenAI早就开始紧锣密鼓地准备中。


GPT不是终局,我们要「超凡的神奇AI智能」


上周,OpenAI的首届开发者大会举动表明,它计划在ChatGPT的基础上建立的商业模式。

面向开发者升级GPT-4模型,推出了一系列工具,包括定制GPT功能、应用市场GPT Store等等。

这么做的最终目标就是与最受欢迎的GPT创作者分享收益,类似苹果的App Store商业模式。

Altman表示,「研究实验室、API、微软合作、ChatGPT、GPT商店都不是OpenAI的终极产品,这些都只是进入我们唯一产品——『智能』的中间手段」。

「我们的终极目的是,打造一个超凡脱俗的神奇智能(magic intelligence in the sky)」。


没错,GPT-5正在研发中


OpenAI的愿景是实现AGI,保其安全并找到其价值所在。

Altman首次公开表示,公司正在开发下一代AI模型GPT-5,但没有给出具体的发布时间。

7月的时候,已经有人发现OpenAI申请注册了GPT-5的商标。

虽然GPT-5可能比GPT-4更复杂,但Altman表示很难准确预测这个模型会有什么新的功能和技能。

在我们训练这个模型之前,对我们来说这更像是一个有趣的猜谜游戏。


我们正在努力提高预测能力,因为我认为从安全的角度来看,预测功能很重要。但我现在无法告诉你GPT-5具体会有哪些GPT-4没有的功能。

为了发展OpenAI的业务,Altman聘请了Brad Lightcap担任首席运营官——以前在Dropbox和创业加速器Y Combinator工作。

与此同时,Altman把时间分配在两个领域:一是研究「如何建立超级智能」,二是研究「如何获取建立超级智能所需的算力」。

他特别强调,通过推出GPT系列模型,OpenAI正在努力建立更多可以执行任务和操作的自主智能体,比如执行代码、付款、发送电子邮件或申请索赔。

这些智能体未来在各个领域,带来巨大的商业价值。

不过,训练GPT-5需要更多的数据,这些数据将来自互联网上公开可用的数据集,以及企业的专有数据。

OpenAI最近发出了征集大规模数据集的呼吁,特别是那些「今天在互联网上尚未公开轻松获取」的数据集,尤其是长篇写作或任何格式的对话。


4万一块H100已经到手,芯片短缺明年缓解


当然,训练GPT-5,还得需要H100芯片。

过去几个月中,4万一块H100成为了硅谷最热门的抢手货,多家科技公司都在竞相购买构建AI所需的芯片。

不过,Altman表示,OpenAI已经收到了H100,并且预计后续的订单将陆续返货。

他预测,明年AI芯片的「残酷」短缺将得到缓解。

随着谷歌、微软、AMD、英特尔等其他公司准备发布AI芯片,公司对英伟达的依赖不太可能持续太久。我认为资本主义的魔力正在这里发挥作用。


OpenAI急缺钱,微软再入股?


训练GPT-5体量的大模型,必定需要投入更多的算力。

目前,OpenAI正在寻求从微软手中获得进一步的资金支持,以创造像人类一样智能的软件,实现AGI愿景。

Altman表示,我们与微软的合作「运作得非常好」。随着时间的推移,微软和其他投资者将筹集更多资金。

外界皆知,微软是OpenAI最大的投资者。

今年年初,这家老牌科技巨头曾与OpenAI签订了一项为期多年的合作协议——投资100亿美元,支持OpenAI的研发和业务发展。

这份协议,直接让OpenAI的估值达到290亿美元。

当被问及微软是否会继续进一步投资时,Altman说,「我希望如此。我们还有很长的路要走。从当前到实现AGI还需要巨大的算力支撑,资金投入就像一个黑洞」。

OpenAI今年的收入增长一直很好,但由于训练成本高,公司仍然没有盈利。微软伙伴关系将确保「我们都从彼此的成功中赚钱,每个人都很高兴」。


GPT-3已泄密OpenAI成功秘诀


一年前ChatGPT的发布,OpenAI已经在构建生成式AI的竞赛中处于领先地位——可以在几秒钟内创建文本、图像、代码和其他多模态的系统。

Altman说,尽管OpenAI在C端用户方面取得了成功,但它仍寻求在构建AGI取得进展。

支撑ChatGPT的大模型是「核心部分之一」。关于如何构建 AGI,但除此之外还有很多其他部分。

虽然OpenAI主要关注LLM,但其竞争对手一直在寻求替代研究策略来推进 AI。

Altman认为,

语言是「信息压缩的好方法」,是开发智能的关键,但像谷歌DeepMind这样的竞争对手错过了这一点其他公司也有很多聪明人。但他们没有做到这一点。

即使在我认为GPT-3已经证明了这一点之后,他们也没有选择这样做。

最终,Altman表示,在AGI的竞赛中,「最大的缺失」是需要AI系统进行根理解飞跃所需的条件。

牛顿仅通过简单地阅读几何或代数,根本不可能发明微积分,我们的模型也一样。

当前模型仅通过训练数据无法原创新知识,这是开发通用人工智能面临的最大难题。

参考资料:

https://www.ft.com/content/dd9ba2f6-f509-42f0-8e97-4271c7b84ded