08月01日,星期二 10:15
火讯财经讯,据站长之家8月1日报道,华为云、中国科学院和北京大学的研究人员最近提出了一种名为RRTF(RankResponsestoalignTest&TeacherFeedback)的新框架,能够有效地提升预训练的大型语言模型(LLM)在代码生成方面的性能。RRTF框架通过自然语言LLM对齐技术和排名反馈的方式来改进代码生成LLM的表现。研究团队还引入了PanGu-Coder2模型,该模型在OpenAIHumanEval基准测试中取得了出色的62.20%的通过率。该研究通过在StarCoder15B上应用RRTF框架,超越了PanGu-Coder并获得了所有记录的代码LLM中最佳性能,证明了RRTF的有效性。对三个基准测试(HumanEval、CoderEval和LeetCode)的全面分析表明,代码LLM在代码生成任务中可能能够超过相同或更大规模的自然语言模型。研究还强调了高质量数据对提高模型遵循指令和编写代码能力的价值。