06月27日,星期二 09:45
火讯财经讯,IT之家今日发文表示,AI模型盲堆体积实际上效果并不见得更好,更多要看训练数据的质量,微软日前最近发布了一款13亿参数的语言模型phi-1,采用“教科书等级”的高品质资料集训练而成,据称“实际效果胜于千亿参数的GPT3.5”。该模型以Transformer架构为基础,微软团队使用了包括来自网络的“教科书等级”数据和以GPT-3.5经过处理的“逻辑严密的内容”,以及8个英伟达A100GPU,在短短4天内完成训练。微软团队表示,比起增加模型的参数量,通过提高模型的训练数据集质量,也许更能强化模型的准确率和效率,于是,他们利用高质量数据训练出了phi-1模型。在测试中,phi-1的分数达到50.6%,比起1750亿参数的GPT-3.5(47%)还要好。微软还表示,phi-1接下来会在HuggingFace中开源,而这不是微软第一次开发小型LLM,此前,他们打造一款130亿参数的Orca,使用了GPT-4合成的数据训练而成,表现也同样比ChatGPT更好。