07月25日,星期二 04:15
火讯财经讯,据IT之家7月25日消息,AI创业公司MosaicML近日发布了其70亿参数模型MPT-7B-8K。据悉,该模型一次可以处理8000字文本,相当擅长处理长文重点摘要和问答,还能在MosaicML平台上根据特定任务,进一步微调相关配置。据悉,系列模型采用了150万个Token,并以256块H100GPU花3天完成模型训练而成。MosaicML本次发布了3个版本模型,包括MPT-7B-8k、MPT-7B-8k-Instruct和MPT-7B-8k-Chat。