09月19日,星期二 12:00
火讯财经讯,据TechWeb9月19日报道,国内权威评测体系FlagEval(天秤)公布最新9月榜单大模型评测结果。基于最新CLCCv2.0主观评测数据集,FlagEval(天秤)9月榜重点评测了近期大热的7个开源对话模型。从整体结果来看,Baichuan2-13b-chat、Qwen-7b-chat、Baichuan2-7b-chat名列前茅,准确率均超过65%。在基座模型榜单中,Baichuan2、Qwen、InternLM、Aquila的客观评测结果表现均超越同参数量级的Llama及Llama2模型。在SFT模型榜单中,Baichuan2-13B-chat、YuLan-Chat-2-13B、AquilaChat-7B名列前三。在客观评测两个榜单中,Baichuan2均表现出优异性能,基础模型测试在中英文领域均全面超越Llama2。据悉,FlagEval(天秤)是北京智源人工智能研究院推出的大模型评测体系及开放平台,旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能。FlagEval大语言模型评测体系当前包含6大评测任务,近30个评测数据集,超10万道评测题目。