06月25日,星期天 03:00
火讯财经讯,据IT之家6月25日报道,AI创业公司MosaicML近日发布了其语言模型MPT-30B,该模型具有300亿参数,训练成本“仅有其他同类竞品模型的零头”,有望促进行业逐步降低此类模型训练成本,扩大AI模型在更广泛领域的运用。MosaicML公司的首席执行官兼联合创始人NaveenRao表示,MPT-30B的训练成本为70万美元(约502.44万元人民币),远低于GPT-3等同类产品所需的数千万美元训练成本。此外,由于MPT-30B的成本较低,体积较小,它也可以更快速地被训练,并且更适合部署在本地硬件上。据悉,MosaicML使用了Alibi和FlashAttention技术来优化模型,可以实现更长的文本长度和对GPU计算的更高利用率。MosaicML也是少数几个能够使用NvidiaH100GPU的实验室,相比以往成果,当下每块GPU的吞吐量增加了2.4倍以上,可带来更快的完成时间。