老黄参投,MIT华人女科学家融资2亿美元!1万块H100训超千亿参数AI智能体

转载
435 天前
10317
AI梦工厂

文章转载来源:AI梦工厂

来源:新智元

编辑:Aeneas 好困

刚刚,又一家AI独角兽在硅谷诞生!

这家华人女科学家创办的公司名为Imbue,近日获得了2亿美元融资,估值已达10亿美元。

而Imbue也是少数创始人为女性的独角兽之一。

不仅如此,Imbue还手握1万张英伟达H100显卡,硬通货已经不愁了。

是的,你没猜错,这家AI独角兽,英伟达又投了!

英伟达高级科学家Jim Fan也开心地发推祝贺:去年我们还一起在NeurIPS上一起谈论Avalon和MineDojo呢,现在Avalon背后的公司,已经成为独角兽了!

这个故事告诉我们,不要忽视你在顶会上遇到的每个其貌不扬的研究者,说不准在哪天,他们的公司就会获得顶级融资,诞生下一个Sam Altman。

没有一份钱创收,但已筹集数亿,这样的奇迹,只有在硅谷才会发生。


英伟达看好


目前,Imbue正在训练的「超大规模」大模型,参数已经超过1000亿,并且,Imbue目前手握1万张英伟达H100 GPU。

公司还未发布任何产品,仅在去年秋天发布了Avalon开源训练环境。

Imbue联合创始人Kanjun Qiu和Josh Albrecht

不过,Imbue的此轮融资金额,是先前已筹集金额的10倍。

由亿万富豪Jed McCaleb成立的非营利组织Astera Institute领投,参投方包括英伟达、通用汽车旗下自动驾驶公司Cruise首席执行官Kyle Vogt、Notion联合创始人Simon Last等。

现在,Imbue的融资总额已经达到2.2亿美元,已跻身为最近几月融资状况最好的初创公司之一。少数在它前面的,就是Cohere(4.35亿美元),Adept(4.15亿美元),以及AI21 Labs(2.83亿美元)。

参投方中最引人注目的名字,无疑就是英伟达。

就在今年,英伟达已经连投7家AI独角兽,包括Adept、Coreweave、Cohere、Inflection、Runway、AI21 Labs,以及Imbue。


瞄准AI智能体


一家还处于早期阶段的初创公司,只有20名员工,还未发布任何面向公众的产品,却赢得诸多硅谷知名AI投资人的青睐,这是为什么?

原因就是,Imbue选择的路线并非AI基础模型,而是——AI智能体!

大模型导致的生成式AI爆火之后,市场被彻底盘活,信心满满的投资人也在急切地四处寻找下一个热点。

AI智能体,就是被诸多AI大佬和科技巨头看好的方向。

今年加入OpenAI的大牛、前特斯拉AI总监Karpathy曾表示:AI智能体,代表了AI的一种未来!

Karpathy曾将AutoGPT称为下一个前沿

AI智能体是一种自动的智能体,以最简单的形式中在循环中运行,每次迭代时,它们都会生成自我导向的指令和操作。因此,它们不依赖人类来指导对话,并且是高度可扩展的。

作为模拟人类抉择来完成复杂任务的计算系统,AI智能体无疑是比大语言模型更具想象力的路线。

其实,早在今年三、四月,就有过一轮AI智能体的大爆发,仿佛巧合一样,在短短两周内,斯坦福西部世界小镇、BabyAGI、AutoGPT、GPT-Engineer等多个智能体,就如雨后春笋一般冒出来。

甚至有人发出号召:别卷大语言模型了,咱们是卷不过OpenAI的,但要说起AI智能体,他们并不比我们有经验多少。说不定一不小心,自己就能卷成AI智能体赛道上的「OpenAI」!

这不,Imbue这就来了。

投资人:慢慢探索,不着急落地

不过,创始人表示,Imbue虽然在开发一些产品,但并不打算将大部分产品投入生产。

Imbue希望,这些模型和工具是一种方式,帮我们在未来通向AGI,让人们能有一个创建自己定制模型的平台。

对于市场,Imbue的态度并不急切,这一点,从融资上也可以看出——

主要投资方,是致力于科技项目的非营利组织Astera Institute,而非趁热一拥而入AI项目的风投公司。

两位创始人表示,在融资过程中,他们有意避免了与风投公司会面。

这是因为,在他们看来,Imbue的工作离真正商业化落地或许还需数年,风投公司不会有这种耐心,而非营利组织会对他们的商业化时间表更加宽容。

最大投资人、亿万富豪Jed McCaleb表示,自己在看完Qiu和Albrecht建立AI智能体的PPT后,觉得非常满意,因此大手一挥,拍板决定投资。

当然,他也明白,这是一场豪赌:为了把研究推进到下一个阶段,把实验室的工作产品化,光GPU的投入,就要烧掉不少钱。

Qiu和Albrecht也非常有信心,在十年后,PPT上的成果,很可能就变为人们日常的应用,而且,很可能用不了十年。


训练推理基础模型


在Imbue的官方博客里,他们是这么解释的——

目前,AI系统在代替用户完成简单任务方面,能力非常有限。这其中的一个重要阻碍因素就是「推理」。

可以说,强大的推理能力是AI智能体实现有效行动的必要条件。

对此,我们可以进一步细分成:处理不确定性的能力、知道何时改变方法的能力、提出问题和收集新信息的能力、推演情景和做出决策的能力、提出和放弃假设的能力,以及处理现实世界复杂而难以预测的本质的能力。

要想为「会推理的AI智能体」量身定制基础模型,就意味着不仅要利用LLM所提供的强大功能,同时还要以详细、实用的方式了解这些模型是如何训练的,以及它们在哪些方面会出错。

也就是说,一方面需要创建专门用于强化模型推理的预训练数据,另一方面还要开发出能够让推理结果更加可靠的技术。

为此,团队采用了全栈式的方法:训练基础模型、制作实验智能体和界面原型、构建稳健的工具和基础设施,以及了解模型如何学习的理论基础。

- 模型

训练并优化超大规模的模型(>1000亿参数),进而在推理基准测试中获得出色的表现。

而最新一轮的融资让Imbue获得了其他公司难以企及的能力:搭载着约1万张H100的计算集群,可以实现从训练数据到架构和推理机制等所有内容的快速迭代。

- 智能体

在模型之上,Imbue设计了内部使用的智能体原型(主要用于编码)。同时,也在尝试各种各样其他的智能体,进而获得强大、可靠的通用智能体。

- 界面

如今的AI聊天界面基本都是拟物化的。而团队认为,有很多关于智能体稳健性、信任和协作的核心问题,是可以通过重新发明交互界面重来解决的。

此外,可以理解世界的AI智能体,也提供了一个重新思考人类与计算机交互方式的机会,从而创造出更能支持并赋予我们能力的系统。

- 工具

优秀的工具能加速迭代的循环。

为此,团队在为自己构建工具方面投入了大量精力:无论是用于修复类型检查和线程错误的简单智能体原型,还是智能体和模型之上的调试和可视化界面,抑或是更加复杂的系统(比如CARBS可以自动完成大部分超参数调整和网络架构搜索)。

- 理论

要想为智能体创建一个既能提供稳健基础,又能保持长期安全的模型,就必须发展深度学习理论。

为此,团队将研究重点集中在特征学习,以及理解大语言模型学习过程背后的核心机制上。

目前,团队已经发表了不少关于自监督学习的理论基础,以及神经网络等系统学习的基本规律的文章。


会推理和码代码的AI智能体


不过,在开发出人人可用的AI智能体之前,团队首先针对自己的使用场景进行了深入的研究。

并以此了解如何才能不断地改进专门为智能体设计的推理模型,以及如何才能构建出让智能体更加可靠的工具。

于是,在首批智能体原型中,有很大一部分都是围绕着团队的核心工作——代码。

具体原因如下:

- 使用是发明的必要条件

要想让AI智能体与人类一起稳定地工作,最佳途径就是制造能够用于日常工作的AI智能体,并在此过程中解决各种问题。

- 代码可以提高推理能力

首先,在代码上进行训练有助于模型更好地学会推理。其次,由于编程问题非常客观(代码要么通过测试,要么不通过),因此可以为更广泛的推理能力测试提供了一个相对理想的平台,从而让团队能够了解到他们对底层系统的改进是否有效。

- 代码对于行动非常重要

生成代码是智能体与计算机上进行交互的有效方式。更强的编码能力可以直接转化为更有可能成功完成复杂任务的智能体。例如,会编写SQL查询从表格中提取信息的智能体,要比直接尝试汇集相同信息的智能体更有可能满足用户的需求。

- 具有重要的战略意义

随着不断的改进,智能体可以接管更多的工作,从而加快研究和工程的速度。这样,不仅有助于软件系统的构建,而且还能帮助建立起一个组织的原型,看看真正可用的AI智能体会是什么样子。

目前,团队并没有把这些「代码智能体」投入生产的打算。不过,他们预计会在一段时间之后,公开这些工具和模型,让任何人都能创建出自己的AI智能体。

真正的个人计算机,让我们自由、有尊严、有能力做自己喜欢的事情。

真正有用的AI智能体,实际上就是一个能理解目标、会主动沟通并在背后为我们工作的计算机——从而消除想法与执行之间的障碍。

而我们也不必再盯着屏幕,而是可以自由地探索自己的好奇心,发现宇宙的规律,创造艺术杰作,更深入地了解彼此,或者只是花时间享受生活。


团队成员


虽然只有20人左右,但Imbue的团队成员可谓卧虎藏龙。

联合创始人兼首席执行官Kanjun Qiu在MIT获得了学士和硕士学位,其他成员除了AI外,甚至还具有神经科学、等离子体物理学等背景。

创始人Kanjun Qiu和Josh Albrecht认为,团队所具有的背景知识广度,是他们的一项优势。

虽然根据华尔街见闻报道,硅谷有几位投资者怀疑这支小团队是否有能力运营一家真正的AI研究实验室。

但在了解Imbue创始人的人看来,风投偏向于支持几个有著名背景的创始人,因此这种担忧并不重要。

部分投资者和顾问

参考资料:

https://imbue.com/