谁在成为大模型的“AI运营”？

转载

308 天前

3547

产业家

文章转载来源：产业家

原文来源：产业家

作者：皮爷

图片来源：由无界 AI生成

在过去的一段时间里，“AI-native”成为所有工具的一个显著探索趋势，不论是算力集群的智算中心，还是数据库侧的向量数据库，再或者是不断进化的算法，都在以一种更适配大模型架构的方式被推演出来。

那么，大模型时代，数据应该如何训练？或者说，如何把数据在大模型侧做更好的表达？

“大模型如何落地？”

在近一年的时间以来，关于这个问题的讨论正在愈演愈烈。如果说市场对于大模型最开始的关注点更多的在参数、算力、开源，那么如今越来越多人的视线开始向更核心的环节转移——数据。

相较于算力等更简单粗暴的命题，数据要更为复杂。从某种层面来说，它对应的是模型的知识质量。

在10月底的一个关于大模型的闭门会上，这个问题更是被鲜明地提出。参会的人不乏底层通用大模型产品负责人，而更多地则是已经开始尝试将大模型进行落地的企业从业者，其中模型接入方法有自研，也更有开源，但作为第一批将大模型内嵌到企业场景的人，他们的共同反馈是：不能用，不好用。

“我们很难把模型训练成能嵌入场景或应用的样子，不知道是哪里出了问题，是通用大模型本身能力不行，还是我们自己的数据训练、标注不到位。”一位企业创始人表示。

实际上，在大模型被越发高频尝试的当下，这正在成为越来越多企业面临的问题。即在市面上即见即得的模型之外，如何将其转化成企业自身能自己使用的大模型？

“我们刚开始训练了三轮，但越到后面越不好训练，中间不仅花费算力，更花费的是人力。”上述创始人告诉产业家。

但在最核心环节之一的数据侧，进度却始终缓慢。这种“缓慢”甚至成为着大模型在大规模场景落地的最关键掣肘之一。

那么，大模型时代，数据应该如何训练？或者说，如何把数据在大模型侧做更好的表达？在即将到来的2024年，这个被摆到台面上的问题已经不仅是这一步应该怎么迈，更升级的挑战是这一步应该怎样迈好。

谁能先答好这个命题，谁就能快人一步。

一、大模型的“关键一道门”，应该如何推开？

“我们现在是把一些大模型的数据标注交给外包团队。”这是在9月份和一位金融方向的IT负责人交流中他和我们的讲述，主要面向方向是基于线下网点的客服和营销。

如何把数据“挪移”到大模型中来？在当下的大模型潮流里，数据标注和训练几乎是所有大模型企业必须经历的一个环节。

数据标注，对其固有的标签是对数据进行知识型标注，在过去多年的发展里其更多的以拖、拉、勾、画等方式存在包括自动驾驶等需要大量数据标注的行业，从业人员画像较为复杂，标注任务相较简单。

但如今的大模型标注不同。“我们替换了两个标注团队，最终才经过训练，有了不错的门店服务和引导效果。”上述负责人告诉产业家。

更具体的情况是，其采用的是国内某互联网大厂的开源模型，基于开源的框架进行自己模型的搭建，整体进度较快，但在数据训练环节，时间却被大大放缓。

他表示，最开始选择的外包团队也是市面上的某标注企业，但从最开始提出需求到最后的效果验收，不仅时间较长，而且最终的准确率也不高；而第二次选择的团队尽管同样花费时间长，但最终效果还算满意。

这正在成为越来越多企业的缩影。即伴随着国内底层大模型的逐步低门槛化，越来越多的挑战已然不聚焦在模型算法本身，更多的在于数据，也就是如何把模型从“可用变得好用”。

实际上，做好大模型的数据标注不是一件容易的事情。

首先从数据本身而言，和之前的标注相比，大模型需要的数据量级更大，而且数据结构更为复合，除了单个数据标签之外，不少大模型的训练需要用到合成数据（即用AI产生的数据），这也就意味着数据本身的标注模型和标注方法与之前不再相同。

此外，在单纯的标注环节，相较于过往的托拉拽的客观标注，现在的更多标注需要人工的主动判断和主动干预，如排序、改写、生成等，而在更专业具体的问题上，甚至需要专业的人士来接入，配合整体标注规则的建立和部分问题的拆解训练。

更有标注人员团队上的不同，如果说之前固有的标注需要的仅是简单的质检和轻微干预，那么如今在如今大模型的标注人员团队建设上，需要对团队进行定向的培训，其中更包括不同专业知识以及安全合规等多方面能力的学习。

在过去的一段时间里，市面上的大模型企业有不少都采取自建标注栈的模式，即专门招聘人员成立标注团队，同时研发自身的标注工具，但一个更为真实的现状是：由于缺乏固有的标注体系和流程积累，在数据工具层面和人员层面始终存在短板，不论是标注，还是中间的模型训练、评估环节，效果始终无法达到最好。

具体来看，即相较于数据存储侧的向量数据库等更加适配大模型的产品，在数据训练和应用侧市面上大模型企业大部分采取的是传统的标注工具和标注方法，因而带来的是巨大的人力和精力投入，同时也对应的是不够高效的训练方法。

这种短板也更在影响着大模型的实际落地。

即伴随着产业和应用成为大模型的主战场，对特定产业或场景数据的标注和训练也更在成为大模型落地的必行之道，但由于固有的标注方法和标注工具存在限制，一定程度上延缓了大模型能力的成型和在实际场景的应用落地。

大模型的“关键一道门”，应该怎么迈？

二、如何做好“AI运营”？

“优质的大模型的数据标注更像是一套成型的AI数据运营。”一位相关人士表示。

以百度智能云为例，其目前对外提供的是一系列围绕大模型全生命开发周期的数据服务，其中包括预训练、监督微调、RLHF、评估等，其覆盖了大模型中数据训练的方方面面，不论是前期的数据标注还是微调等等。

这一系列的数据标注工作恰似大模型的“AI数据运营”。据了解，在百度智能云的交付过程中，其部分项目会寻找代码、教育、法律、等领域专业人员，一起进行需求的规则制定和数据训练，进而保证数据的真实性和准确性。

此外，在标注工具侧，和其它大模型厂商不同的是，百度智能云也更研发了自身专有的大模型标注平台工具，针对不同场景、不同需要以及不同的数据量可以按照不同的方式进行训练，比如其可覆盖大语言模型、多模态大模型及代码等专项标注场景多种数据标注需求。

同时，结合辅助标注算法可以全流程助力标注师提升标注质量和效率。而在标注能力之外，其也具备着更为灵活的项目管理机制，可以更好地适配严苛的交付周期及复杂多变的标注规则，进而满足不同赛道企业的大模型训练需求。

据了解，尽管目前市面上的大模型厂商会在内部进行自我模型的AI训练，但效果往往没办法达到最好，最终还是会找到像百度智能云这样的拥有专门标注工具的企业进行训练标注。

被优化的大模型训练模块还不仅于工具，更在团队。比如在标注人员团队培训上，百度智能云在海口建设了全国首个大模型数据标注基地，常驻数百名数据标注师，本科学历达到100%，覆盖汉语言文学、计算机、法学等学科专业。

在服务过程中，除了固有的一体化的模型训练能力，对不少大模型企业而言，其还有部分专项能力的需求，比如安全能力的强化。

“大模型的输入是可控的，但是输出是不可控的，甚至很多时候会因为幻觉等原因，有不良或者不合规的信息出现。”一位国内头部AI大模型负责人告诉我们。这也造成了对大模型训练而言，安全必须是其中要核心把控的指标，而百度智能云基于自身的“AI数据运营”能力，则是可以帮助企业的大模型迅速强化这项专有能力。

实际上，百度智能云的模式也恰在成为国内大模型训练的最先进路径缩影。即不论是在预训练，还是中间的监督微调，抑或是后期的模型评估优化等，更为高效的方式恰是这种“AI-native”的标注模式。

而基于百度智能云这套“AI-native”的标注模式，企业恰等同于装备了一个足够专业的“AI数据运营”工具箱，其可以帮助企业实现从大模型数据到效果的整体运作。这其中不仅有被“刷新”的数据标注团队，也更囊括了一系列包括从预训练到模型评估，再到能力强化等全部流程在内的大模型训练闭环，进而更高效、更低成本地构建好自身可用、安全的大模型。