谷歌Transformer论文作者全部从科技巨头离职,最后一位离职者称AI出路在“东方”

转载
458 天前
10124
AIGC

文章转载来源:AIGC

来源:财联社

作者: 史正丞

原标题:《谷歌Transformer论文合著作者离职创业 ,放话要给AI产业探条新路》

作为本轮AI热潮的起点,谷歌在2017年发表了题为《Attention is all you need》的经典论文,对Transformer模型做出了具有历史意义的重大改进。而根据最新的消息,这篇论文的合著作者Welshman Llion Jones已经离开谷歌,标志着当年写这篇论文的团队已经全部离开美国科技巨头。

(Llion Jones在论文署名中排第5,来源:arvix)

谷歌的论文也为五年后席卷全球的科技热潮奠定了基础,包括ChatGPT、文心一言、Bard、讯飞星火、Stability AI、Midjourney、Dall-E等几乎所有市面上的知名产品背后都是Transformer架构。

选在这个时候在AI领域自立门户,与挥金如土的各大巨头展开竞争,是因为Jones对AI领域产生了一些不同的想法。

Jones与前谷歌AI日本地区的负责人、曾领导Stability AI开发的David Ha一拍即合,周四宣布在日本东京创办了一个名为Sakana AI的新公司,追求将“大自然系统的集体智慧”引入AI领域。Sakana在日语中是“鱼”的意思,代表着“一群鱼聚在一起,根据简单的规则行程连贯实体”的愿景。

(两人官宣创业,来源:X)

在Transformer架构的创新问世后,业界的发展重心一度聚焦在将各种“GPT”越做越大,而Sakana AI将聚焦在创造一个新的架构

他们认为,当前人工智能模型的局限性在于它们被设计为脆弱的、难以改变的结构,就像桥梁或建筑物那样。相比之下,在集体智慧的作用下,自然系统对周遭发生的变化非常敏感。自然系统会适应并成为周遭环境的一部分。Sakana AI希望使用这些进化计算的原理构建人工智能,来解决AI系统成本和安全性等问题。

David Ha对此概括称,相较于建造一个吸收所有数据的庞大模型,Sakana AI的做法可能是使用数量巨大的小模型,每一个模型所包含的数据集都不大但有独特的专长,然后让这些模型进行协作来解决问题。

至于为什么要跑到东京去创业,两位创始人表示,除了在东京呆过很多年外,他们也认为训练在非西方社会和文化中也能表现良好的模型,能够成为下一次技术突破的催化剂