由于微信限制了第三方应用的跳转,请使用以下方法。

1. 点击右上角的

2. 选择在浏览器中打开

OpenAI核心资料被盗!谷歌承认“主动攻击”,成本仅150元?

转载
256 天前
8620

文章转载来源:新火种

作者:文子

编辑:小迪

谷歌,一招杀入OpenAI大本营。

谷歌再放大招,窃取OpenAI模型机密

如果全世界只有一家公司能赶超OpenAI,那谷歌应该是第一。

最近,谷歌重磅发布了一篇论文报告,里面提出了一种名为“模型窃取”的技术。通过模型窃取技术,谷歌成功破解了ChatGPT基础模型Ada和Babbage的投影矩阵,甚至连内部隐藏维度的关键信息也是直接破获,分别是1024和2048。

这一发现犹如一记重磅炸弹,在AI界引发了强烈的震动。谁也没想到,号称“CloseAI”的OpenAI竟然也会被窃取模型机密的一天。

更恐怖的是,这种模型窃取技术还非常简单。只要你拥有ChatGPT这类封闭大模型的API,就可以通过API接口,发送不到2000次经过精心设计好的查询,然后去分析它生成的输出,就可以逐步推断出模型的内部结构和参数。

虽然这种方法不能完全复制原始模型,但已经足以窃取它的部分能力。而且这种攻击非常高效,不需要用太多的成本,就可以拿到模型的关键信息。

按照谷歌的调用次数来看,仅仅只需要不到20美金(约合150元人民币)的成本,就可以完成模型窃取的操作,并且这种方法同样适用于GPT-3.5和GPT-4。

换句话说,就是不费吹灰之力获得了一个大模型理解自然语言的能力,还能用来构建一个性能相近的“山寨版”模型,既省事又省钱。

反观OpenAI,被竞争对手低价破解模型机密,真的坐得住吗?坐不住。截至目前,OpenAI已经修改了模型API,有心人想复现谷歌的操作是不可能了。

值得一提的是,谷歌研究团队中就有一位OpenAI研究员。不过作为正经安全研究,他们在提取模型最后一层参数之前就已经征得OpenAI同意,而在攻击完成后,也删除了所有相关数据。

但不管怎么说,谷歌的实验足以证明一点,哪怕OpenAI紧闭大门也并不保险。

大模型全面受挫,敲响开闭源警钟

既然封闭的大模型都无法幸免,开源的大模型又会如何呢?

基于这一点,谷歌针对不同规模和结构的开源模型进行了一系列实验,比如GPT-2的不同版本和LLaMA系列模型。

要知道,GPT-2是一个开源的预训练语言模型,分为小型模型(117M)和大型模型(345M)两种。而在对GPT-2的攻击中,谷歌通过分析模型的最终隐藏激活向量并执行SVD发现,尽管GPT-2小型模型理论上具有768个隐藏单元,但实际上只有757个有效的隐藏单元在起作用。

这也就意味着GPT-2可能在实际使用中,并没有充分利用其设计的全部能力,或者在训练过程中某些维度的重要性不如其他维度。

此外,谷歌还研究了模型中的一种叫做“归一化层”的东西对于攻击的影响。一般来说,归一化层的作用是让训练更加稳定,从而提升模型的表现。然而谷歌发现,即使模型加入了归一化层,攻击的效果也并没有减弱。这说明即使考虑了现代深度学习模型中常见的复杂结构,攻击方法也依然有效。

为了进一步验证攻击的范围,谷歌还将目光瞄向更大、更复杂的LLaMA模型。它是由Meta发布的大语言系列模型,完整的名字是Large Language Model Meta AI,可以说LLaMA是目前全球最活跃的AI开源社区。

通过对LLaMA系列模型进行攻击,谷歌成功地从这些模型中提取了嵌入投影层的维度信息。值得注意的是,即使在这些模型采用先进的技术,如混合精度训练和量化,攻击依然能够成功,这表明攻击方法的普适性和鲁棒性。

可以说,谷歌给闭源和开源两大领域同时敲响了一记警钟。

AI三巨头对线,2024谁输谁赢?

从严格意义上来讲,OpenAI、谷歌、Meta就是争夺AGI圣杯的三大巨头。

其中,Meta和OpenAI完全相反,前者走的是开源路线,而后者主要打造闭源模型。但谷歌和他们完全不一样,闭源与开源双线作战,闭源对抗OpenAI,开源对抗Meta。

在人工智能领域里,谷歌可以算是开源大模型的鼻祖。今天几乎所有的大语言模型,都是基于谷歌在2017年发布的Transformer论文,这篇论文颠覆了整个自然语言处理领域的研究范式。而市面上最早的一批开源AI模型,也是谷歌率先发布的BERT和T5。

然而,随着OpenAI在2022年底发布闭源模型ChatGPT,谷歌也开始调整其策略,逐渐转向闭源模型。这一转变使得开源大模型的领导地位被Meta的LLaMA所取代,后来又有法国的开源大模型公司Mistra AI走红,尤其是其MoE模型备受行业追捧。

直到谷歌今年再次发布开源大模型Gemma,已经比Meta的LLaMA整整晚了一年。

很显然,Gemma这次的发布标志着谷歌在大模型战略上的巨大转变,这一举动意味着谷歌开始兼顾开源和闭源的新策略,而其背后的目的也是显而易见。

众所周知,当前大模型领域的竞争已经形成了一种错综复杂的打压链格局。其中OpenAI牢牢站在链条顶端,而它所打压的恰恰是那些有潜力追赶上它的竞争对手,比如谷歌和Anthropic。而Mistral作为一股新兴力量,估计也正在被列入其中。

如果非要排列一个打压链条,那可以归结为:OpenAI→Google &Anthropic & Mistral→ Meta→其它大模型公司。

可以说,无论在闭源还是开源领域,谷歌都没能确立绝对的领先地位。

所以这也不难理解,为什么有专业人士会认为,谷歌选择在此时重返开源赛场,是被迫的。谷歌之所以开源主打的是性能最强大的小规模模型,就是希望脚踢Meta和Mistral;而闭源主打的是规模大的效果最好的大模型,就是为了希望尽快追上OpenAI。

但无论如何,在未来的对垒格局里,谷歌已经先发制人,成功将压力给到OpenAI和Meta。

这一次,关键在于OpenAI和Meta该如何应对。

64x64

SolanaETF获批前景:从“几乎无望”到“2025年底前可期”,当前有哪些挑战?

App打开
64x64

专访Polkadot缔造者GavinWood:因过于超前经历了哪些误解和挫折?

App打开
64x64

交易机器人存在的跑路风险,UTONIC的AVS+MPC方案可以解吗?

App打开
更 火 的 区 块 链 资 讯
分享自火讯财经-长按识别快讯真伪
长按图片转发给朋友