全世界最大的超算 Frontier 使用 3072 块 AMD GPU 训完超万亿参数 LLM

808 天前

01月14日，星期天 02:30

全世界最大的超算 Frontier 使用 3072 块 AMD GPU 训完超万亿参数 LLM

火讯财经讯，据新智元1月13日报道，用AMD的软硬件系统也能训练GPT-3.5级别的大模型了。位于美国橡树岭国家实验室（OakRidgeNationalLaboratory）的全世界最大的超算Frontier，集合了37888个MI250XGPU和9472个Epyc7A53CPU。最近，研究人员只使用了其中8%左右的GPU，就训练了一个GPT-3.5规模的模型。研究人员成功地使用ROCM软件平台在AMD硬件上成功地突破了分布式训练模型的很多难点，建立了使用ROCM平台在AMD硬件上为大模型实现最先进的分布式训练算法和框架。成功地在非英伟达和非CUDA平台上为高效训练LLM提供了可行的技术框架。训练完成后，研究人员将在Frontier上训练大模型的经验的总结成了一篇论文，详细描述了期间遇到的挑战以及克服的困难。

道琼斯指数收盘上涨 224.35 点，标普 500 和纳斯达克均上涨

火讯财经讯，道琼斯指数在4月1日（周三）收盘上涨224.35点，涨幅达0.48%，报46,565.86点；标普500指数上涨46.84点，涨幅为0.72%，报6,575.36点；纳斯达克综合指数上涨250.32点，涨幅为1.16%，报21,840.95点。

9 分钟前
美股三大股指收涨，西部数据涨超 10%

火讯财经讯，美股周三收盘数据显示：道指初步收涨0.49%，标普500指数涨0.7%，纳斯达克综合指数涨1.16%；西部数据涨10%，英特尔、闪迪、美光科技涨幅均在9%以上；耐克大跌15%；纳斯达克中国金龙指数涨0.3%，爱奇艺涨2%，京东跌2%，阿里巴巴跌1%。

13 分钟前
数据：过去 24 小时全网爆仓 2.61 亿美元，多单爆仓 1.05 亿美元，空单爆仓 1.55 亿美元

火讯财经讯，据市场数据显示，过去24小时全网加密货币爆仓金额达2.61亿美元，其中多单爆仓1.05亿美元，空单爆仓1.55亿美元。具体来看，比特币多单爆仓1664.74万美元，空单爆仓4273.67万美元；以太坊多单爆仓1604.63万美元，空单爆仓4154.42万美元。

16 分钟前
数据：507.92 枚 BTC 从 Wintermute 转出，价值约 3410 万美元

火讯财经讯，据Arkham数据显示，今日03:55，507.92枚比特币（价值约3410万美元）从Wintermute转出至Anchorage Digital。

16 分钟前
数据：452.66 枚 BTC 从匿名地址转出，经中转后转至另一匿名地址

火讯财经讯，03:23时，452.66枚BTC（价值约3084万美元）从以bc1q3tdg3...开头的匿名地址转出至以bc1qsaxx...开头的另一匿名地址。

46 分钟前

808 天前

全世界最大的超算 Frontier 使用 3072 块 AMD GPU 训完超万亿参数 LLM

道琼斯指数收盘上涨 224.35 点，标普 500 和纳斯达克均上涨

美股三大股指收涨，西部数据涨超 10%

数据：过去 24 小时全网爆仓 2.61 亿美元，多单爆仓 1.05 亿美元，空单爆仓 1.55 亿美元

数据：507.92 枚 BTC 从 Wintermute 转出，价值约 3410 万美元

数据：452.66 枚 BTC 从匿名地址转出，经中转后转至另一匿名地址

友情链接：