AI佟湘玉PKAI吕秀才！人大和北邮联合发布的评测基准，能分辨大模型角色扮演哪家强

转载

310 天前

9782

品玩

文章转载来源：品玩

原文来源：品玩

作者：吕可

图片来源：由无界 AI生成

Role-Playing Conversational Agents（RPCA）是一类对话代理，它们被设计成能够模仿特定角色或人物进行对话。这些角色通常来自于现有的文学作品、电影、卡通、游戏等，具有特定的知识、行为和回应风格。RPCA的目标是与用户进行沉浸式的互动，提供情感价值而非仅仅是信息或生产力。

与传统的聊天机器人不同，RPCA更注重于角色扮演和情感交流。它们能够根据用户的输入，以特定角色的身份进行回应，从而创造出一种仿佛与真实人物对话的体验。这种类型的对话代理在娱乐、教育、心理辅导等领域有着广泛的应用前景，因为它们能够提供更加个性化和情感化的交互体验。

RPCA的挑战在于如何准确地模拟角色的知识、行为和风格，同时保持对话的连贯性和吸引力。为了评估这些代理的性能，来自中国人民大学高瓴人工智能学院的三位研究者联手北京邮电大学人工智能学院共同推出了一个名为CharacterEval的中文基准测试。并辅以一个量身定制的高质量数据集。

该数据集由 1785 个多回合角色扮演对话组成，包含 23020 个例子和 77 个来自中国小说和剧本的角色。比如《武林外传》中的佟湘玉和吕秀才。CharacterEval 可以直接让不同的大模型生成这两个角色进行对话，并根据基准测试的标准来给出相应的能力评分。

作为基准测试，CharacterEval 采用多维度评估方式，包括对话能力、角色一致性、角色扮演模式以及个性测试四个维度，每个维度还有不同的指标，一共十三个具体指标。

对话能力（Conversational Ability）

流畅性（Fluency）：衡量响应的语法正确性和可读性。
连贯性（Coherency）：评估响应与对话上下文的相关性。
一致性（Consistency）：检查RPCA在对话中是否保持一致性，避免自相矛盾。

角色一致性（Character Consistency）

知识曝光（Know-Exposure, KE）：评估RPCA在响应中提供的信息量。
知识准确性（Know-Accuracy, KA）：衡量RPCA基于角色知识生成响应的准确性。
知识幻觉（Know-Hallucination, KH）：评估RPCA在缺乏知识时是否会产生幻觉。
角色行为（Persona-Behavior, PB）：评估RPCA的行为描述是否符合角色特征。
角色台词（Persona-Utterance, PU）：检查RPCA的说话风格是否与角色相符。

角色扮演吸引力（Role-playing Attractiveness）

人类相似度（Human-Likeness, HL）：评估RPCA的响应是否具有人类特征。
沟通技巧（Communication Skills, CS）：衡量RPCA在对话中的沟通能力。
表达多样性（Expression Diversity, ED）：检查RPCA在对话中是否展现出多样性。
同理心（Empathy, Emp）：评估RPCA在对话中表达同理心的能力。

个性测试（Personality Back-Testing）

MBTI准确性（MBTI Accuracy）：使用Myers-Briggs Type Indicator（MBTI）个性类型作为参考，评估RPCA在个性测试中的准确性。

研究团队还推出了一个名为 CharacterRM 的奖励模型，用于对主观指标的评估。CharacterRM 通过与人类判断的相关性来评估RPCA在主观指标上的表现。而根据实验结果，其性能优于GPT-4，当人这只能说是角色扮演这方面。

研究团队用了几个比较常用的 AI 大模型进行了测试，其中包括常见的 ChatGLM3-6B、GPT-4、minimax、Baichuan2-13B等，并根据他们的表现给出了评分。

CharacterEval 的诞生，填补了角色扮演对话代理（RPCAs）领域缺乏全面评估基准的空白。而他的发布也有助于该领域的发展以及以及用户体验提升。

研究团队先已经放出了CharacterEval 相关数据集、论文等信息，感兴趣的人可以通过GitHub访问。此外，该测试的代码也将会在不久后更新在其 GitHub页面中。

论文地址：GitHub - morecry/CharacterEval: repository for CharacterEval, a benchmark for role-playing conversation

Arxiv地址：https://arxiv.org/abs/2401.01275

关键词：

来源：品玩

发布人：暖色

声明：该文观点仅代表作者本人，不代表火讯财经立场。火讯财经系信息发布平台，仅提供信息存储空间服务。

如文章涉及侵权，请及时致函告之，本站将第⼀时间删除⽂章。邮箱：840034348@qq.com

上一篇：为了“下一代”的技术竞争，中国人形机器人做好了准备吗？

下一篇：HackVC：主网被二层“吸血”，以太坊模块化的路子走错了吗？

AI佟湘玉PKAI吕秀才！人大和北邮联合发布的评测基准，能分辨大模型角色扮演哪家强

11333篇

70646538

新闻排行

美国SEC主席Gensler下台倒计时，继任人选或为律所合伙人

MBGA论坛第一期成功举办AI+DePIN开启智能经济新时代

无法被忽视的课题！全球健康DAO改写世界

Pantera合伙人：AI原生团队、豪华投资阵容，全面解析SaharaAI

大咖齐聚 WCS1012 DePIN生态博览会圆满收官

BUDAOLABS作为主办方之一的GBFA亚洲数字经济投资论坛在深圳圆满举办

W3A.world成为WCS1012DePIN生态博览会暨DePIN颁奖盛典合作单位

MetaLIFE成为WCS1012DePIN生态博览会暨DePIN颁奖盛典合作单位

友情链接：