11月10日,星期五 02:30
火讯财经讯,据IT之家11月10日报道,为了提高处理速度,降低内存使用量和通信成本,来自MicrosoftAzure和MicrosoftResearch的一组研究人员推出了一个高效的FP8混合精度框架,专为大语言模型(LLM)训练量身定制。微软引入了三个优化阶段,利用FP8进行分布式和混合精度训练。随着这些层级的进展,FP8集成程度的提高变得明显,这表明对LLM训练过程的影响更大。微软经过测试,与广泛采用的BF16混合精度方法相比,内存占用减少27%至42%,权重梯度通信开销显著降低63%至65%。运行速度比广泛采用的BF16框架(例如Megatron-LM)快了64%,比NvidiaTransformerEngine的速度快了17%。在训练GPT-175B模型时,混合FP8精度框架在H100GPU平台上节省21%的内存,而且相比较TE(TransformerEngine),训练时间减少17%。