09月05日,星期二 10:00
火讯财经讯,据机器之心报道,上海交通大学APEX实验室推出了CodeApex,一个专注于评估LLMs的编程理解和代码生成能力的双语基准数据集。在评估大语言模型的编程理解能力上,CodeApex设计了三种类型的选择题:概念理解、常识推理和多跳推理。此外,CodeApex也利用算法问题和相应的测试用例来评估LLMs的代码生成能力。CodeApex总共评估了14个大语言模型在代码任务上的能力。其中GPT3.5-turbo表现出最好的编程能力,在这两个任务上分别实现了大约50%和56%的精度。可以看到,大语言模型在编程任务上仍有很大的改进空间。