文章转载来源:AIGC
来源:财联社
作者: 史正丞
原标题:《谷歌Transformer论文合著作者离职创业 ,放话要给AI产业探条新路》
作为本轮AI热潮的起点,谷歌在2017年发表了题为《Attention is all you need》的经典论文,对Transformer模型做出了具有历史意义的重大改进。而根据最新的消息,这篇论文的合著作者Welshman Llion Jones已经离开谷歌,标志着当年写这篇论文的团队已经全部离开美国科技巨头。
(Llion Jones在论文署名中排第5,来源:arvix)
谷歌的论文也为五年后席卷全球的科技热潮奠定了基础,包括ChatGPT、文心一言、Bard、讯飞星火、Stability AI、Midjourney、Dall-E等几乎所有市面上的知名产品背后都是Transformer架构。
选在这个时候在AI领域自立门户,与挥金如土的各大巨头展开竞争,是因为Jones对AI领域产生了一些不同的想法。
Jones与前谷歌AI日本地区的负责人、曾领导Stability AI开发的David Ha一拍即合,周四宣布在日本东京创办了一个名为Sakana AI的新公司,追求将“大自然系统的集体智慧”引入AI领域。Sakana在日语中是“鱼”的意思,代表着“一群鱼聚在一起,根据简单的规则行程连贯实体”的愿景。
(两人官宣创业,来源:X)
在Transformer架构的创新问世后,业界的发展重心一度聚焦在将各种“GPT”越做越大,而Sakana AI将聚焦在创造一个新的架构。
他们认为,当前人工智能模型的局限性在于它们被设计为脆弱的、难以改变的结构,就像桥梁或建筑物那样。相比之下,在集体智慧的作用下,自然系统对周遭发生的变化非常敏感。自然系统会适应并成为周遭环境的一部分。Sakana AI希望使用这些进化计算的原理构建人工智能,来解决AI系统成本和安全性等问题。
David Ha对此概括称,相较于建造一个吸收所有数据的庞大模型,Sakana AI的做法可能是使用数量巨大的小模型,每一个模型所包含的数据集都不大但有独特的专长,然后让这些模型进行协作来解决问题。
至于为什么要跑到东京去创业,两位创始人表示,除了在东京呆过很多年外,他们也认为训练在非西方社会和文化中也能表现良好的模型,能够成为下一次技术突破的催化剂。
来源:AIGC
发布人:暖色
声明:该文观点仅代表作者本人,不代表火讯财经立场。火讯财经系信息发布平台,仅提供信息存储空间服务。
如文章涉及侵权, 请及时致函告之,本站将第⼀时间删除⽂章。邮箱:840034348@qq.com