新华社研究院发布国产大模型报告：讯飞星火第一，百度文心第二

转载

462 天前

2061

华尔街见闻

文章转载来源：华尔街见闻

作者：卜淑情

自ChatGPT引发人工智能投资热潮以来，国产大模型如雨后春笋般爆发，截至7月初，国内10亿级参数规模以上的人工智能大模型已超80个。在这种新的趋势下，国产大模型该如何选择？哪家大模型最强大？

8月12日，新华社研究院中国企业发展研究中心发布《人工智能大模型体验报告2.0》（以下简称《报告》），对百度文心一言、阿里通义千问等时下最火热的国产通用大模型应用进行了测评。

本次测评共设计500道随机题目，对标接受过高等教育的人类水平、更强调对产业和生活的实际价值，并严格按基础能力指数、智商指数、情商指数、工具提效指数四大测评维度进行权重设计，以保证整个测评过程的严谨性。

最终结果稍稍令人意外，讯飞星火以总分1013分位列本次测评榜首，在四大评测维度中的智商指数和工具提效指数两个维度获得第一；百度文心一言和商汤科技商量分别位列第二和第三。

《报告》称，讯飞星火具有7大核心能力，即文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力、多模态能力。拥有跨领域的知识和语言理解能力，能够基于自然对话方式理解与执行任务。

在基础能力部分，人类与AI之间的差距并不显著。百度文心一言表现在模型中最为抢眼；商汤商量、智谱AI hatGLM、360智脑表现优良，讯飞星火、阿里通义千问、澜舟科技Mchat、昆仑万维天工表现尚佳。

在智商评估方面，人类仍然具有明显优势，分数也达到最高。在所有测评的模型中，讯飞星火、智谱A-ChatGLM并列第一；百度文心一言、昆仑万维天工表现优良。

在情商方面，AI与人类之间的差距最为明显。《报告》称，目前尚未观察到AI具备情绪感知能力的明显迹象。尽管如此，商汤商量还是展现了超越同行的高情商，以346分位列第一，百度文心一言和澜舟科技·Mchat分别位列第二和第三。

最后，在工作效率提升方面，《报告》认为， AI对人类提供了有力的支持，AI的处理速度远远超过人类。然而，尽管AI具有高速度和高效率的优势，但在某些复杂和具有创新性的任务中，人类的智慧和想象力仍然具有无法替代的作用。测评结果显示，讯飞星火以350分排名第一并遥遥领先，百度文心一言和商汤商量分别位列第二和第三。