英伟达发布 TensorRT-LLM，可将 H100 推理性能最高提升 8 倍

496 天前

09月10日，星期天 09:30

英伟达发布 TensorRT-LLM，可将 H100 推理性能最高提升 8 倍

火讯财经讯，据IT之家9月9日报道，英伟达近日宣布推出名为TensorRT-LLM，是一个深度优化的开源库，能够在Hopper等AIGPU上加速所有大语言模型的推理性能。英伟达目前已经和开源社区合作，利用SmoothQuant、FlashAttention和fMHA等尖端技术，实现AI内核来优化其GPU，可以加速GPT-3（175B），LlamaFalcom（180B）和Bloom模型。TensorRT-LLM的亮点在于引入了名为In-Flightbatching的调度方案，允许工作独立于其他任务进入和退出GPU。该方案允许同一GPU在处理大型计算密集型请求时，动态处理多个较小的查询，提高GPU的处理性能，可以让H100的吞吐量加快2倍。在性能测试中，英伟达以A100为基础，对比了H100以及启用TensorRT-LLM的H100，在GPT-J6B推理中，H100推理性能比A100提升4倍，而启用TensorRT-LLM的H100性能是A100的8倍。

特朗普宣布“Peggy Schwinn为下一任教育部副部长”，其Penny Schwinn名字拼写错误

火讯财经讯，1月18日消息，特朗普在其TruthSocial社交账号上拼错了PennySchwinn的名字，此前其宣布“PeggySchwinn将成为下一任美国教育部副部长”。部分社区人士认为特朗普社交账户被盗的可能性极大增加。

15 分钟前
BTC跌破103000美元，日内下跌 1.03%

火讯财经讯，1月18日消息，欧易OKX行情显示，BTC刚刚跌破103000美元，现报102945.60美元/枚，日内下跌1.03%。

15 分钟前
“特朗普Meme币” TRUMP市值突破50亿美元

火讯财经讯，1月18日消息，据GMGN数据显示，“特朗普Meme币”TRUMP市值短时突破50亿美元，交易额约8.32亿美元。

45 分钟前
特朗普在其Truth Social社交账号上更新动态，Meme币TRUMP仍未证伪

火讯财经讯，1月18日消息，特朗普在其TruthSocial社交账号上更新了动态，宣布PeggySchwinn将成为下一任美国教育部副部长。目前其推出的个人Meme币TRUMP仍然未证伪。

45 分钟前
某交易员在“特朗普Meme币”TRUMP上线约90秒买入，目前获利超2000万美元

火讯财经讯，1月18日消息，据Lookonchain监测，一交易员通过$TRUMP仅1小时内利润就超过2000万美元。Trump在TruthSocial上宣布推出$TRUMP后约90秒，一交易员花费约110万USDC购买了597万TRUMP（目前为2300万美元）。目前为止，他仅以40.4万美元的价格出售了54.3万个TRUMP，仍持有543万个TRUMP（2100万美元），总利润超过2000万美元。

1 小时前

496 天前

英伟达发布 TensorRT-LLM，可将 H100 推理性能最高提升 8 倍

特朗普宣布“Peggy Schwinn为下一任教育部副部长”，其Penny Schwinn名字拼写错误

BTC跌破103000美元，日内下跌 1.03%

“特朗普Meme币” TRUMP市值突破50亿美元

特朗普在其Truth Social社交账号上更新动态，Meme币TRUMP仍未证伪

某交易员在“特朗普Meme币”TRUMP上线约90秒买入，目前获利超2000万美元

友情链接：