08月27日,星期天 01:00
火讯财经讯,据机器之心报道,Meta已开源专攻代码生成的基础模型CodeLlama,可免费用于研究以及商用目的。根据研究,CodeLlama的不同版本在HumanEval和MBPP数据集上的一次生成通过率(pass@1)都超越GPT-3.5。此外,CodeLlama的「Unnatural」34B版本在HumanEval数据集上的pass@1接近了GPT-4(62.2%vs67.0%)。不过Meta没有发布这个版本,但通过一小部分高质量编码数据的训练实现了明显的效果改进。来自Phind(一个组织,旨在构造一款为开发人员而生的AI搜索引擎)的研究者向GPT-4发起挑战,该研究用微调的CodeLlama-34B在HumanEval评估中击败了GPT-4。Phind联合创始人MichaelRoyzen表示:“这只是一个早期实验,旨在重现(并超越)Meta论文中的「UnnaturalCodeLlama」结果。将来,我们将拥有不同CodeLlama模型的专家组合,我认为这些模型在现实世界的工作流程中将具有竞争力。”此前报道,Meta已开源文本生成代码AI编程模型CodeLlama。