谷歌Gemini被曝夸大营销？碾压GPT4纯靠“一张嘴”

转载

342 天前

8478

新火种

文章转载来源：新火种

图片来源：由无界 AI生成

作者：文子

Gemini对谷歌来说可能走了一大步，但对整个AI领域而言，并没有说的那么夸张。

涉嫌虚假宣传，交互非实时感知

才短短一天时间，谷歌Gemini就被曝涉嫌造假，夸大宣传。

作为谷歌用来应对GPT-4的“杀手锏”，Gemini一经亮相就有了两个硕大的标签：超过人类专家，碾压GPT-4。随便单拎一条出来，都是目前其他大模型所不能比拟的成绩。

但也有越来越多的人开始质疑它的真实性，彭博社的Parmy Olsen就是第一个质疑视频造假的人。

就在大家震惊于谷歌发布的6分钟互动视频里，他指出，Gemini所有交互都不是实时感知的，存在后期制作和剪辑配音的成分。随后这一说法也得到了谷歌官方的证实，承认Gemini的确使用了静态图片和多段提示词拼凑，才能达成这样的效果。

简单来说就是，Gemini不能直接看懂一段动作视频，只能看懂多张图片。像演示视频里人类在玩石头剪刀布，实际上是把“布”“拳头”“剪刀”三张照片依次传给Gemini，然后加上良好的提示词，才能让Gemini给出回答，然后再由员工配音念出来。

而且视频中展示的许多其他功能并不是谷歌独有的，GPT Plus3也可以做得到，沃顿商学院教授伊森·莫里克（Ethan Mollick）就用实验证实了这一点。

虽然从技术原理上来看，能够读取图片和能够看懂视频之间，并没有技术上的鸿沟。但是从产品实现落地的角度看，把读取图片约等于能实时看懂视频，过于强调实时性而压缩了交互过程中的延迟，这几乎已经可以理解为虚假宣传。而是否需要良好的提示词工程，更是评价模型能力的关键问题。

混淆跑分，GPT4测试标准不一致

从谷歌对Gemini的宣传信息来看，它声称Gemini在32项标准性能指标中，有30 项指标都优于GPT-4，跑出90%的高分，超过GPT-4。但实际上，差距微乎其微，而且这种比较并不公平。

Gemini Ultra的90%得分是基于谷歌研究人员开发的一种基于32个样本的思维链的方法。对于同一个问题，Gemini Ultra会生成32个答案以及这些答案的推理。然后，模型会选择最常见的答案作为最终答案。

但GPT-4的86.4%分数是基于行业评估标准5-shot。HuggingFace技术主管Philipp Schmid特意从Gemini的技术报告中提取数据重做计算，在5-shot的标准下，Gemini的得分实为83.7%，比GPT-4更低。

也就是说只有CoT（思维链）达到32个例子时，Gemini Ultra才能达到90分超过GPT-4；当例子数量减少到5个，Gemini Ultra得分就不如GPT-4。难怪连谷歌公司高管在之前都回避了关于该模型比GPT-4 强多少的问题，因为它们只是“强”在了不同的标准上。

就像谷歌在5月份发布Palm-2的时候，也挑出了两个优于GPT-4的指标，但是后来这个大模型怎么样，大家都清楚。

斯坦福大学基础模型研究中心主任 Percy Liang也谈到，虽然Gemini有很好的基准分数，但由于不知道训练数据的内容，因此很难解释这些数据。华盛顿大学计算语言学教授 Emily Bender也指出，谷歌宣传Gemini是一台万能机器，是一个可用于多种不同用途的通用模型。但是谷歌却在使用狭隘的基准，来评估它期望用于这些不同用途的模型，这意味着它实际上无法得到彻底评估。

仓促上阵，只为趁OpenAI动荡搞事？

今年3月，OpenAI发布GPT人工智能模型，并推出其支持的付费聊天AI机器人ChatGPT，这其实对谷歌来说压力很大。

毕竟谷歌已经耗费了数年心血，在人工智能领域投入巨资研究，却没想到被半路杀出来的OpenAI弯道超车。

所以在4月，谷歌迫于投资方的巨大压力，将负责人工智能研究的Google Brain，与母公司Alphabet位于伦敦的人工智能研究实验室DeepMind合并，为了在今年接下来的时间里研发Gemini模型来回应GPT-4的挑战。

而在两周前，OpenAI刚刚重新任命了奥特曼为首席执行官，并任命了新的董事会成员，勉强给这家初创公司的一段动荡期画上了句号。这场内斗事件也促使一些客户开始评估其他AI提供商，谷歌选择在这个时间点推出Gemini的心思不言而喻。

据报道，当OpenAI董事会暂时罢免首席执行官奥特曼，使公司的未来发展受到质疑时，谷歌迅速发起了一场营销活动，说服OpenAI企业客户转向谷歌。现在，随着Gemini的发布，谷歌也正是在利用这种不确定性。

然而，目前大多数人还是不能完整地体验Gemini。最强大的对标GPT-4的满血版Gemini Ultra，还需要等待几个月才能和公众见面。据谷歌高管的说法，预计将于明年初上市。而现在推出的版本是为谷歌基于文本的搜索聊天机器人Bard的后台，为其提供更高级的推理、规划和理解能力。

在接下来的几个月里，新的Gemini增强版Bard会在170多个国家提供英语版本的首发，不包括欧盟和英国。谷歌负责Bard的副总裁Sissie Hsiao表示，这是因为公司需要与当地监管机构“接轨”。除此之外，Gemini还有一个名为Nano的版本，可以直接在设备上运行的，例如谷歌的新款Pixel手机。