11月21日,星期二 09:30
火讯财经讯,据IT之家11月21日报道,微软AzureAI基础设施迎来升级,推出了NDH100v5虚拟机系列,这款虚拟机配备了英伟达H100TensorCore图形处理单元(GPU)和低延迟网络。据介绍,微软全新发布AzureNDH100v5虚拟机(VM)系列,现已在美国东部和美国中南部Azure区域提供。该系列配备了最新的英伟达H100TensorCoreGPU和英伟达Quantum-2InfiniBand网络,用于应对AI工作负载带来的日益增加的复杂性。作为微软在AI领域深入和持续投资的一部分,微软正在利用一个AI优化的4KGPU集群,并将在明年将其扩展到数十万个全新的GPU。微软表示,该系列虚拟机使用新的8位FP8浮点数据类型进行矩阵乘法操作时,速度提升了六倍,比前一代的FP16更快。NDH100v5VM帮助大型语言模型(如BLOOM175B端到端模型)实现了最高两倍的推理速度提升。