680 天前

01月14日,星期天 02:30

全世界最大的超算 Frontier 使用 3072 块 AMD GPU 训完超万亿参数 LLM

火讯财经讯,据新智元1月13日报道,用AMD的软硬件系统也能训练GPT-3.5级别的大模型了。位于美国橡树岭国家实验室(OakRidgeNationalLaboratory)的全世界最大的超算Frontier,集合了37888个MI250XGPU和9472个Epyc7A53CPU。最近,研究人员只使用了其中8%左右的GPU,就训练了一个GPT-3.5规模的模型。研究人员成功地使用ROCM软件平台在AMD硬件上成功地突破了分布式训练模型的很多难点,建立了使用ROCM平台在AMD硬件上为大模型实现最先进的分布式训练算法和框架。成功地在非英伟达和非CUDA平台上为高效训练LLM提供了可行的技术框架。训练完成后,研究人员将在Frontier上训练大模型的经验的总结成了一篇论文,详细描述了期间遇到的挑战以及克服的困难。

4
0
  • Grayscale推出首只XRP现货ETF GXRP,今日已于NYSE Arca上市交易

    火讯财经讯,11月24日消息,据Grayscale官方公告,旗下GrayscaleXRPTrustETF(代码:GXRP)今日正式于NYSEArca交易所上线,成为美国首只现货XRPETF。GXRP以XRP为持仓标的,旨在为投资者提供高效、直接的XRP敞口。该ETF此前已于2024年9月以私募形式推出,XRP作为XRPLedger上的原生资产,自2012年上线以来累计处理超40亿笔交易。

    15 分钟前

  • Monad(MON)全面上线Bybit Alpha及现货市场

    火讯财经讯,11月24日消息,据Bybit公告,Monad(MON)已上线BybitAlpha平台,同时Bybit也已在11月24日23:00(UTC+8)上线MON现货交易,开放MON/USDT交易对。用户可通过BybitAlpha免钱包直接交易,并参与奖励活动。Monad主打EVM兼容的高性能Layer1扩容方案,旨在突破以太坊扩展性瓶颈。

    15 分钟前

  • Sky Protocol过去一周回购4050万枚SKY,累计回购金额已超8600万USDS

    火讯财经讯,11月24日消息,据Sky官方披露,SkyProtocol上周通过其去中心化回购机制使用190万美元的USDS回购4050万枚SKY代币。自启动以来,该计划总计已动用超过8600万美元USDS进行回购。

    15 分钟前

  • Coinbase:正积极推进Monad(MON)“发送与接收”功能

    火讯财经讯,11月24日消息,CoinbaseMarkets称正积极推进Monad(MON)“发送与接收”功能。

    15 分钟前

  • Coinbase即将上线MON-PERP永续合约

    火讯财经讯,11月24日消息,据CoinbaseMarkets公告,若流动性条件达成,MON-PERP永续合约交易对将于2025年11月24日17:00UTC(北京时间11月25日01:00)在支持地区正式开放。零售用户可通过CoinbaseAdvanced参与交易,机构客户可通过CoinbaseInternationalExchange接入。

    16 分钟前