腾讯混元大模型正式亮相，我们抢先试了试它的生产力

转载

436 天前

5513

机器之心

文章转载来源：机器之心

作者：泽南

腾讯这个重量级玩家终于出手了。

上个星期，国内首批大模型备案获批，开始面向全社会开放服务，大模型正式进入了规模应用的新阶段。在前期发布应用的行列中，有些科技巨头似乎还没有出手。

很快到了 9 月 7 日，在 2023 腾讯全球数字生态大会上，腾讯正式揭开了混元大模型的面纱，并通过腾讯云对外开放。

作为一个超千亿参数的大模型，混元使用的预训练语料超过两万亿 token，凭借多项独有的技术能力获得了强大的中文创作能力、复杂语境下的逻辑推理能力，以及可靠的任务执行能力。

腾讯集团副总裁蒋杰表示：「腾讯混元大模型是从第一个 token 开始从零训练的，我们掌握了从模型算法到机器学习框架，再到 AI 基础设施的全链路自研技术。」

打开大模型，全部都是生产力

腾讯一直表示在大模型的相关方向上早已有所布局，专项研究一直有序推进。

这个不是「新技术」的大模型是什么级别？在大会上蒋杰通过直接询问混元大模型的方式透露了一些基本信息，它的参数量是千亿级，训练用的数据截止到今年 7 月份，此外腾讯也表示大模型的知识将会每月更新。

腾讯在现场展示了「腾讯混元大模型小程序」、腾讯文档中的 AI 助手以及腾讯会议 AI 助手的能力。

机器之心第一时间获得测试资格尝试了一番，首先是微信小程序。

一进小程序，我们发现其中的内容不亚于其他家大模型产品的独立 APP。这里有一个「灵感发现」，看看混元都能做些什么：

从生产力、生活、娱乐到编程开发，它开放的能力可谓非常全面了，符合一个千亿级大模型的身份。那么混元真的能有效地完成这些任务吗？

我要写一份 PPT，只想好了主题却不知从何写起，问一下混元大模型。只需几秒，AI 就给了一份分出七个部分的大纲，每一部分里也包含细分的点：

输入一篇 arXiv 上 9 月份谷歌提交的论文《RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback》摘要和介绍部分，长长的好几段，很多大模型根本不支持这么多输入内容，混元大模型直接进行了总结顺便翻译成中文。

大概意思是在说，大模型训练中人类反馈的强化学习（RLHF）也是可以被 AI 替代的？

一个到了实用阶段的大模型，是可以帮我们写代码的。现在我们给 AI 一段代码，让它解释一下其中看不懂也没有注释清楚的内容：

它详细解释了平方根倒数算法里面数字的意义（不过对注释理解得不太透彻）。或许过不了多久，我们做开发的时候就离不开大模型了。

然后是腾讯文档。很多人已经把 GPT-4 等大模型工具用在了自己的工作流程中，混元大模型在腾讯文档推出的智能助手功能中已有应用。在 PC 端新建智能文档，输入 “/”，就能根据需求实现内容生成、翻译、润色等操作。

随后输入自然语言指令，大模型的生成能力就可以帮你在腾讯文档中进行长文本总结归纳：

看起来会对写论文很有用。

当然，如果你给出了一个主题，它能进行文本创作，你再选定生成内容的一部分，AI 也可以多次细化编辑。写完了还能一键翻译：

此外，表格的数据计算和图表生成也都是一句话的事。

目前这些功能正在内测阶段，将在成熟后面向用户开放。

混元大模型在腾讯会议中的应用可以帮助一时走神的你。比如在会议进行当中，你可以随时问 AI 助手刚才发言的人说了些什么，或是刚才那两个人到底在争论些什么，AI 可以悄悄把内容帮你总结成一小段话，列出清楚的一二三条来。

当然，会开完以后混元大模型也可以更快更全面地总结会议内容，标注好待办事项。

已覆盖腾讯超过 50 个业务

蒋杰总结了混元大模型的三大特点：具备强大的中文创作能力、复杂语境下的逻辑推理能力以及可靠的任务执行能力。

目前不少业内大模型在场景中的应用依然有限，主要问题集中在容错率高，只适用于任务简单的休闲场景。腾讯在算法层面进行了一系列自研创新，提高了模型可靠性和成熟度。

腾讯集团副总裁蒋杰在活动中。

针对大模型容易「胡言乱语」的问题，腾讯优化了预训练算法及策略，通过自研的「探真」技术，让混元大模型的「幻觉」相比主流开源大模型降低了 30-50%。

「业界的做法是提供搜索增强，知识图谱等『外挂』来提升大模型开卷考试的能力。这种方式增加了模型的知识，但在实际应用中存在很多局限性，」蒋杰表示。「混元大模型在开发初期就考虑完全不依赖外界数据的方式，进行了大量研究尝试，我们找到的预训练方法，很大程度上解决了幻觉的问题。」

腾讯还通过强化学习的方法，让模型学会识别陷阱问题，通过位置编码的优化，提高了模型处理超长文的效果和性能。在逻辑方面，腾讯提出了思维链的新策略，让大模型能够像人一样结合实际的应用场景进行推理和决策。

腾讯混元大模型能够理解上下文的含义，具有长文记忆能力，可以流畅地进行专业领域的多轮对话。除此之外，它还能进行文学创作、文本摘要、角色扮演等内容创作，做到充分理解用户意图，并高效、准确的给出有时效性的答复。这样的技术落地之后，才能真正提升生产力。

写一篇 4000 字的内容，GPT-4 也达不到要求，混元大模型可以做到。

在中国信通院《大规模预训练模型技术和应用的评估方法》的标准符合性测试中，混元大模型共测评 66 个能力项，在「模型开发」和「模型能力」两个领域的综合评价获得了当前最高分。在主流的评测集 MMLU、CEval 和 AGI-eval 上，混元大模型均有优异的表现，特别是在中文的理科、高考题和数学等子项上表现突出。

构建大模型的意义在于行业应用。据了解，腾讯内部已有超过 50 个业务和产品接入并测试了腾讯混元大模型，包括腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ 浏览器等，并取得了初步效果。腾讯的程序员们，已经在用大模型工具提高开发效率了。

此外，腾讯还通过自研机器学习框架 Angel，使模型的训练速度相比业界主流框架提升 1 倍，推理速度比业界主流框架提升 1.3 倍。

用于构建大模型的基础设施也没有拉下。此前腾讯曾表示已于今年年初构建了大规模算力中心，近期 MiniMax 和百川智能旗下的大模型都使用了腾讯的算力。

腾讯也在致力于把行业数据与自身能力相结合，基于外部客户的行业化数据来解决行业特定问题，与实体行业结合，不断推动大模型的社会、经济利益和商业价值。

「根据公开数据显示，国内已有 130 个大模型发布。其中既有通用模型也有专业领域模型。混元作为通用模型能够支持腾讯内部的大部分业务，今天我展示的几个深度接入的业务都有很大的用户量。大模型已在我们的核心领域获得了深度应用，」蒋杰说道。「我大模型首先是服务企业本身，其次是通过腾讯云对外开放。」

在开放给客户使用时，混元大模型将作为腾讯云模型即服务 MaaS 的底座。客户既可以直接调用混元 API，也能将混元作为基座模型，为不同的产业场景构建专属应用。

可见，腾讯在大模型领域的策略讲究的是一个稳字：专注打好基础，不急于拿出半成品展示。而这一出手，就展现出了过硬的实力。