对话io.net:闲置GPU再利用,去中心化AI算力平台如何实现?

转载
234 天前
4450
吴说区块链

文章转载来源: 吴说区块链

io.net 是基于 Solana 区块链的网络,允许拥有闲置算力的用户向资源密集型的人工智能公司提供算力。此前,io.net 完成了其 A 轮融资,估值达到 10 亿美元,筹集了 3000 万美元,由 Hack VC 领投,Multicoin Capital、Animoca Brands、Solana Ventures、Aptos、OKX Ventures 等参投。本期吴说英文播客邀请了 io.net 的首席战略官兼首席市场官 Garrison Yang(0xHushey),讨论了 io.net 的技术优势、未来发展计划以及如何解决人工智能和云计算行业的痛点等问题。

本文内容仅代表受访者观点,不代表吴说观点,不提供任何财务建议,请读者严格遵守所在地法律法规。

文字概要由 GPT 处理,可能存在错误,全文请收听播客:

Youtube:https://youtu.be/HSBBGT5Vqvg

io.net 是什么?

io.net 正在建设世界上最大的 AI 计算网络,我们的目标本质上是建立一个去中心化的,能与 AWS(亚马逊网络服务)竞争的对手。该项目始于 2020年,当时我们的创始人兼 CEO 在开发算法交易的定量模型时,寻求更经济的算力资源。即使在 2020年,从 AWS 和 Azure 购买算力的成本也被证明是过于昂贵的。因此,他探索了全球,包括在沙特阿拉伯和亚太地区的独立数据中心,以及在使用中的加密矿工处的算力资源。他将这些资源互联,从各种地理分布的位置获取 GPU,形成一个庞大的计算网络。这一举措成功了。最初,他使用了 Ray,当时Ray并没有被广泛认识,因为大多数人更喜欢由亚马逊网络服务推广的 Kubernetes。他独立运营这个网络,支持他的交易模型两年半。

2023 年,Open AI 推出了ChatGPT,突然间,整个世界都将注意力转向了 AI,尤其是它所需的巨大算力。ChatGPT 在 2023 年宣布,它每天花费 70万美元来训练他们的 ChatGPT 模型。人们也质疑它如何能够在不向用户收费的情况下提供实时推理——对查询的响应。Ahmad认识到 Open AI 使用了Ray架构来扩展他们的计算网络,这导致了我们业务的开始。Ahmad 意识到他拥有 AI 行业高度追求的资源:能够扩展分散和分布式节点的能力,从而以较低的成本为 AI 公司提供算力,因此成立了 io.net。值得注意的是,我们是 2023 年 4 月 Solana 黑客马拉松的获胜者之一。io.net 平台于 2023 年 11 月正式向公众发布,仅仅四个多月,我们就见证了快速的进展。

开发 io.net 的另一个原因,除了渴望创建最大的 AI 计算网络外,还在于我们希望确保一个去中心化、由社区驱动和社区拥有的计算网络在全球范围内存在。通过提供一个去中心化的算力来源,我们旨在保证应用程序、数据源、AI 模型和 AI 模型推理在未来仍然全球可访问、免审查,并可跨越国界使用。

io.net 是如何解决 AI 和云计算行业的痛点的?

AI 已经在我们的生活中存在了相当长的时间。真正较新的发展是面向消费者的 AI 和对消费者可见的企业 AI。例如,ChatGPT 打开了很多大门,就像通用的 AI 图像和视频平台一样,它们已经成为我们日常生活中使用的工具。

大多数人没有意识到的是,我们已经使用 AI 很长时间了。Facebook使用 AI 扫描你发布的图片,Google使用 AI 帮助支持他们的搜索引擎,Siri使用 AI 来理解和响应我们的查询。现在,随着 AI 变得更加流行,更多的公司希望使用 AI 进行开发,他们的成本增加了。算力已经成为世界上最重要和日益稀缺的资源之一。今天,AI 依赖于 GPU 计算而不是 CPU 计算,使得 GPU 需求非常高。

问题是,算力的供应还远远不够——全世界的算力需求是 AWS、Azure 和 Google Cloud 这样的中心化云服务提供商所能提供的算力总和的2.5倍。尽管这些大公司囤积了许多显卡,但他们没有足够的 GPU 算力来服务每个人。然后,有很多算力存在于独立数据中心、加密矿工和我们的消费设备(比如 MacBook 和游戏 PC)中。问题是,这些资源很难聚合和利用。

io.net 所做的是从各种来源聚合 GPU 的算力。一些来源的质量更高、更可靠、更有价值,一些则不然,但我们将它们全部聚合起来,为 AI 公司提供一个群集的算力。结果是,AI 公司可以以比中心化云服务提供商的现价便宜高达 90%的价格访问这个算力,而且它更快。使用 io.net,没有合同要签署,没有KYC,没有长期承诺,你可以选择你的节点来自哪里,它们的速度是多少。这种方法帮助我们通过提供一个去中心化、成本效益高、易于访问的计算平台来解决 AI 和云计算行业的主要痛点。

io.net 能否匹配企业级 GPU 进行 AI 模型训练?

简单来说:完全没问题。

通过将多个稍微低于企业级的显卡聚合在一起,可以以更低的成本提供相同级别的算力。io.net 需要解决的是如何扩大这些物理基础设施的规模。

企业级显卡也可以由我们聚合在一起。独立的企业级数据中心可能在这里有五张显卡,那里又拥有十张显卡,而通常这些数据中心不会协调彼此为单一客户服务。但如果他们把这些资源放在 io.net 上,我们可以将其聚合在一起。这不仅最大化了这些企业级 GPU 的利用率,还增强了它们的货币化能力。本质上,io.net 充当一个平台,促进了来自不同来源的算力的聚合,为 AI 模型训练创造了一个效率和投产比更高的计算环境。

各处闲置的 GPU 原本只是被低效利用的资源,我们可以将它们传递给有需要的客户,而终端客户可以以便宜的价格来使用它们。

但我想说清楚的是,虽然我们的目标是建立一个去中心化的替代中心化云服务提供商的选择,但我并不期望它完全替代现有的基础设施。最好的比较对象是考虑电网和可再生能源。我们不会取代基础发电(如核电),毕竟它在一段时间内生成大量能源,稳定、便宜且高效。但核电作为”基荷电源“,不能灵活调整。这就是为什么还需要太阳能和电池作为电网的补充。

对于 AWS 也是一样,如果一个企业与 AWS 签订了一个五年的合同,为一定量的算力付费,期间不管他们是否使用都要持续付费。这样向中心化云服务提供商购买固定算力整体上是经济高效的。然而,当你有需求峰值时,可按需使用的 io.net 就有价值了。例如,如果你今天想运行一个实验,或者你知道你的负载在七天或一个月内会激增,你可以从 io.net 以更经济的方式购买额外算力。作为一个去中心化的网络,你不需要合同或KYC,任意挑选不同类型、不同来源、不同大小且可定制的算力资源,就这么简单。这为企业提供了很多不同的选项,并为人们提供了选择和定价权。

io.net 在平衡个人和企业贡献者之间的挑战和策略是什么?

我们理想的供应商有两种类型的人。一种是拥有剩余资源的企业数据中心,通常这是高品质的供应资源,具有高速的互联网带宽,最适合首先服务于企业客户。第二种类型属于加密矿工的范畴——某人购买专用装备来提供能力或运行 GPU 进行加密挖矿或类似活动,通常具有高于平均水平的连接速度和专用硬件。

我们将 GPU 比作作为投资资产的房子。你投资房子是为了出租它并赚钱,GPU 也是一样。尽管预期由于更新的芯片而贬值,我们已经看到价格因当前短缺而升值。由于需求高,A100 GPU 现在可以在大约九个月内回收其投资。与传统的加密挖矿经济学预期相比,这是一个非常吸引人的投资回报率。

以上所说的还只是稳定币,这是直接收入,还没包括代币。而当你引入加密经济和代币时,激励就更为巨大了。这类似于区块链中的验证者经济,你在赚取具有可变价值的代币的同时,也从客户那里赚取固定收入。

另外,io.net 正在建立的大型非中心化网络还蕴含着其他机会。举例而言,总会有一些计算节点无法胜任 AI/ML 相关任务,可能因为连接速度不够理想,或者只是单纯没充分利用,导致它们的“单位经济模型“并未生效。尽管如此,这些设备在成为相对高端的验证器方面仍然拥有巨大的潜力。它们还能执行其他类型的工作,提供不同级别的计算服务。

正是由于 AI/ML 的单位经济非常强大,我们选择首先着手解决这一领域的挑战,然后才将我们的计算网络推广到更广泛的用途上。这种策略不仅是为了解决眼前的问题,而且也为网络的未来发展奠定了基础。

谈及构建区块链的机会,我认为不一定非得是我们自己的链。也许未来 SVM(Solana 虚拟机)决定提供应用链,或者让所有的验证器直接支持 Solana ,这些都是可能的发展方向。每种情况都为 io.net 增加了实用性,尤其是如果我们能够建立一个类似于 Solana 的应用链,那将极为引人注目。因为这意味着我们既有区块链,又提供了一个能够为去中心化应用(DApps)提供基础设施的计算层,从而实现真正的去中心化。

你认为谁适合使用 io.net ?

就需求方而言,目前io.net 主要被用于端到端的 AI /ML工作负载,这主要分成两类需求,分别是模型训练和模型推理。

首先是模型训练的需求。虽然模型训练目前都使用位于同一地点的 GPU,但模型训练不像模型推理有严格的延迟要求,实际上可以不使用聚合在一起的 GPU,即通过使用 io.net 扩展架构,花费更长的训练时间,最终实现更低成本的模型训练。毕竟成本是模型训练最值得关心的部分。

其次是模型推理的需求。成本和动态负载是其两个主要问题,这都很适合使用 io.net 应对。一方面,模型推理成本很高,而之前已经解释过 io.net 成本非常低。另一方面,模型推理的负载需求往往会不可预测地快速提升,如果你将自己的 ChatGPT 模型发布出来,你需要考虑所有不可预测的负载。但 io.net 非常灵活,你可以随时按需使用。你完全可以向中心化云服务商购买基础服务,然后由 io.net 应对负载峰值。我们为企业提供灵活性,以经济高效的方式管理需求峰值,用去中心化的、按需购买的资源提供额外负载算力。

我认为现在已经没有多少人在训练自己的模型,毕竟这很昂贵,Facebook、苹果和微软都花了成百上千万去训练模型。人们更多的是直接使用大型科技公司开发的基础模型,然后对已有模型做调整和推理。我认为这是行业的发展方向:少量的模型训练,一定量的模型调整,以及大量的模型推理。所以 io.net 专注于模型推理,这是开发者的”最后一英里“,也更容易变现。我们在平台上构建了一个很受欢迎的名为 BC8.AI 的产品,每天有大概 2.5 万笔交易,全部都是模型推理。

从更广泛的范围来看,我们选择从 AI/ML 开展项目,是因为其强大的单位经济,但 io.net 的发展前景不仅仅局限于做 AI 的计算层,还想成为最大的去中心化通用计算层,随着技术和市场的发展,将有更多的机会出现,让我们能够利用这个庞大的非中心化网络去支持各种各样的计算需求,最终实现一个更加开放、自由的数字世界。

io.net 堆栈的哪些部分与区块链相关?

管理无许可交易之间的权限是在区块链上的。我们基本上允许你以无许可的方式加入网络。在供应和需求的匹配中没有人为中介。你使用,你支付,你知道人们会收到钱并且会为你提供计算队列。实际上这里有一个证明,供应方承诺在一定时间内提供能力。如果你租用一个小时,我承诺提供一个小时。如果我没有在整个小时内提供那个能力,我会被罚款。经济学和机制在这方面非常类似于验证器。

我们还在链上存储计算证明,有一个像是账本的运行日志。所以如果你看一个模型推理结果,你始终可以准确追踪到哪个节点提供了该计算,什么时间提供了计算,提供了多少计算,你为此支付了多少费用。

在未来,这种透明度和数据存储将非常有助于追踪这些计算是如何被产生的。你可能会看一个图像,并且总能追踪到谁影响了它,谁提供了计算,以及它是从哪个模型推理出来的。我认为随着 AI 行业的发展,这种类型的透明度将变得非常重要。

另外,我们选择 Solana 作为我们的区块链需求,是因为它快速且便宜。尽管最近面临一些可扩展性挑战,但它已被证明能够处理我们所看到的交易负载。我们的目标是尽可能多地在 Solana 上维持我们的核心基础设施,利用其容量和即将到来的更新,如Firedancer,以获得更大的可扩展性。

买家在 io.net 上选择计算群集的匹配过程是如何工作的?

买家不需要深入过多细节。他们简单地指明他们想要的设备类型、连接速度和他们偏好的位置。这为买家提供了他们需要确定的所有信息,基于他们正在寻找的容量来决定需要多少 GPU。随着行业的发展,当延迟和容量不再是唯一的决定因素时,我预计买家将做出更细微的选择。他们可能会出于特定原因选择某些位置,或者基于经济价值在低端和高端设备之间做出选择。目前由于稀缺,如果买家需要容量,他们会接受任何可用的、能满足他们需求的容量。他们会检查我们的网络,检查是否有足够的 4090可用,然后选择并使用它们。

目前有一个市场教育的过程,我认为随着去中心化云服务提供商的发展壮大,行业需求也会持续发展和扩大。

另一方面是对低质量节点的管理。一旦代币空投或挖矿计划开始,这个问题就出现了。所以我们引入了”时间分数“和”声誉分数“。io.net 上的每个节点都有一个声誉分数,这允许客户看到一个节点多久保持可用、它的上线时间和其他性能指标,以此帮助决策。我们不断地对每个节点进行ping操作,如果一个节点没有响应,它就被认为是不可用的。如果它不可用,它就不会获得奖励。加密经济激励是直截了当的:如果一个节点可用,它为需求方提供更好的服务,并且更频繁地被雇用,赚取更多的奖励。只要节点在被雇用时保持可用性和性能,需求方就会获得所需的算力,双赢。

你如何看待 io.net 在未来五年的发展?

我们在 4 月 28 日发币,我确信世界会在那之后改变,当然程度取决于它的后续发展。

目前,大家都知道算力非常有价值,但除了购买 GPU,作为一个消费者无法真正将其作为一个商品交易和使用。我们设想的是在”算力“作为一种可访问的商品的基础上,构建一个产品和服务的生态系统。通过创造一种代币化的方式让人们交易算力,并进一步构建其他东西。我们的目标是将$IO变成算力货币。如果算力是数字石油,那么它需要一个石油美元,我们正在试图构建那个石油美元。我们已经为它创建了一个市场,人们可以交易,将资产换取价值,以及使用其上构建的 DeFi 产品。未来当我们进入通用计算领域时,更多的事情可以发生,因为更多的行业可以参与进来。

接下来,我们需要将供应方增加 10倍,改善需求方自助服务体验,并且扩展用例,如云游戏、图像渲染、视频渲染——这些可能不属于传统 AI 工作负载下的事情。另外,通过在供需两端扩展,让低端显卡满足低端需求,可以进一步拓展客户类型来提高市场份额。

现在,我们每天的营业额大约是七八千美元,年化约 230万美元,而这才四个月而已。所以我们只需要继续增长市场的供需两端,并让飞轮旋转起来。我希望,在接下来的四五年里平台变得非常大,将大量的算力移动到网络上。我们的目标是逐步将DePIN过渡给社区,DePIN 应该始终是一个去中心化的资产,在其之上构建的不同应用,无论是 io.net 还是其他由 DePIN 驱动的协议和服务,那些都是完全分开的。但 DePIN 的逐步去中心化是非常重要的。

io.net 与 Render 和Filecoin之间的关系是什么?

io.net 首先是拥有一个 UI,这可以使得用户体验更好。然后我们为Render、Filecoin 及其他 DeFIN 带来了两样东西:网络架构和操作软件,它操作在设备上运行的客户端。网络架构至关重要,因为并非所有 DePIN 都能将数千个地理分散的 GPU 聚合成一个单一的群集。通过将 GPU 放在我们的 DePIN 上,可以被其他网络访问并按需使用,主要是 AI。

Render 在渲染图像方面表现出色——这是其网络被构建和工具化的目的。Filecoin 同样,是为存储而构建的。这些公司在各自的功能上都表现出色,但我们更擅长服务 AI 工作负载,不论是 Render、Filecoin 还是其他 DeFIN,都需要使硬件上的客户端有能力满足那些 AI 工作负载,这都可以访问我们的网络和使用我们的工具来为 AI 客户赚钱,毕竟 AI 确实拥有强大的单位经济。

未来 io.net 也不打算取代像 Render 或 Filecoin 这样的平台,而是提供了更多的合作可能性。如果有人想利用他们的算力为 Filecoin 或像 Render 这样的项目服务,他们可以使用 io.net 作为一个平台自由地这样做。

说到市场竞争,我们也有自己的思考。这个领域的单位经济如此之好,难免有人参与竞争。不过,建立市场业务的好处是,我们具备先发优势。我们更早,我们更大,实际上我们有4-5年的先发优势,这会带来巨大的优势惯性。我们的网络架构——比如部署一个完全地理分散的拥有 6000多个节点的群集——也是其他人难以做到的。此外,竞争者还不得不克服激增的成本。

io.net 的独特技术优势是什么?

其实所有构建 DePINs 的策略并没有太大的不同——一个关键因素是如何将物理位置彼此分离的 GPU 聚合;另一个关键因素是到底聚合多少 GPU ,细节包括它们是否必须是相同的型号、它们之间允许的距离、群集的大小、延迟有多少,等等。

这些看起来可能简单,但实现这些网络能力和所做的权衡至关重要。如果有人复制我们的方法,比如分叉 Ray 并提供 Ray 群集,会发现他并不能保证和我们相同的延迟。而在算力作为一种商品的世界中,竞争力取决于延迟、可用性和连接速度的微小差异。

而这便是我们的技术壁垒所在。它包括网络架构以及编排层的构建,为开发人员部署的便利性、工人的连接简便性和众多 UI/UX 决策。

除了技术壁垒,还有一个市场策略壁垒:决定是否从图像渲染、视频渲染、存储、AI 工作负载、同步云游戏或像素流媒体这样的领域开始。这些不是传统意义上的技术壁垒,但它们是基于资源限制而作出取舍的重大战略选择。

喜欢 io.net 的用户如何参与?

如果你对 io.net 感兴趣,有几种方式可以参与。对于那些在家中拥有消费设备,如 MacBook 或 4090游戏 PC 的人,我鼓励你连接到网络并提供算力。这是一个了解去中心化物理基础设施网络如何运作的绝佳方式,它们的存在就是为了优化世界上的低效资源。

对于矿工来说,io.net 提供了一个令人兴奋的机会来贡献和受益。如果你对将 GPU 作为资产来赚取收益的想法感兴趣,这是值得考虑的。GPU 是产生收益的资产,通常提供比传统投资如房子或汽车更快的回报。这不是投资建议,但这是一个值得考虑的角度——算力的财务化。我们会将$IO 变成数字石油美元,支持一个完整的财务化产品、工具和服务的生态系统,并在其之上构建整个 DeFi 生态系统。

开发者可以尝试在 io.net 上部署群集,像我今天花了三分钟就可以部署 6000个节点。作为一个普通人以往是很难获得这样规模的算力,这是一个新奇且迷人的体验。

即使你不直接提供算力,仍然有很多机会参与。你可以加入我们社区的讨论,比如关于数据可用性、保护抗审查 AI 模型和推理的话题。请在 Twitter 上关注我们或加入我们的 Discord,我们的 Discord 中有一些非常聪明、睿智的思想家负责主持,欢迎加入进来进行对话,我们会在这里。