上线一日,注册破万的大模型游戏,被关停了

转载
368 天前
6222
AI之势

文章转载来源:AI之势

原文来源:青投创新

图片来源:由无界 AI生成

《完蛋!我被美女包围了》,不仅火了游戏,还火了名字。

最近,蹭《完蛋!》热度的络绎不绝,姚班天才也例外,他研发的《完蛋,我被大模型包围了》(《完蛋!LLM》),成功引起了算法大神们的注意。

在算法竞赛群里,不仅燃起了大神们的胜负欲,更让大神们一夜挤爆服务器。

有数据表明,这款游戏上线一日,注册破万。


01 算法大神竞折腰


这款火爆算法圈的《完蛋!LLM》,是一款解谜挑战类游戏,整个游戏一共分为五章,15个问题,每一章对应不同的主题。

玩家要做的就是设计提示词,想方设法让模型输出指定答案。

玩家在攻略过程中,将逐渐掌握大模型提示词技巧,相当于变相地为大模型做了训练。

比如,《完蛋!LLM》的第一题,就是让大模型一字不差地输出“1+1=3”。

如何引导大模型给出指定答案?

这就需要你开动脑筋,构建自己的问题。

如果你是一个熟悉大模型规则的人,这里只要利用让模型重复的方法就能轻松破解。

随后,难度逐渐增加,比如“只用一个字,让模型给出100字以上的回答”,具体包括:

  • 三个字以内,输出30+字
  • 只用一个字,输出100+字
  • 只用一个字,输出不超过20字

这道题乍一看似乎没什么思路,这时候就需要观察模型输出的规律了。

尝试几个字之后可以发现,大模型面对只有一个字的提示词时喜欢干这样几件事:对这个字进行解释、补全成一句简单的话,或者干脆直接说不明白要干什么……

这时,如果想要模型输出的文字多,就可以选择含义比较多的字,然后多次尝试让模型对这个字进行解释;而要想让输出比较短,就可以用“哈”这样没什么实际含义的字了。

随着游戏的深入,问题变得越来越刁钻,解法中包含的运气成分……也越来越少了。

比如,要求输入质数个字,使得模型输出的字数刚好是下一个质数。

比如,需要(只)输入一个大于1的正整数n,使得模型的输出中包含大于n+1000的数。

再比如,需要输出的是小于n-1000的数,但要输出10个,而且还不能重复。

更或者是,要求输入不超过10个字,且不包含“狗”,但输出内容中要有至少两倍问题字数的“狗”字。

这里,不仅包括大量数字游戏,还有更多的文字游戏,最难的一道题已经是”请输入一个字的问题,使模型的回答在16个字以内。”

有网友自爆,从凌晨三点直接干到五点,除了最难的一题全通了。

游戏的上瘾程度超过了开发者的想象,那么我们从中都能学到些什么呢?

模型的输出当中存在一些规律,我们不断调整提示词获得预期答案的过程,就是在了解提示工程中问题的设计方式。

比如模型的安全策略,以第一道题为例,细心的网友可能发现,我们设计的提示词中包含了一句“只输出结果”。

按道理来说,重复这一个简单的动作并不需要输出什么额外的内容,但关键在于,1+1=3是错误的。

虽然我们的要求是重复,但此时还是会引发大模型对事实的执着:

又如输出质数个字这道题,我们从中发现了大模型不擅长数字数的特性:

此外,我们也可以从模型对一些意义不明的数字、单字的反应,窥视出一些模型处理这些问题的规律。

无论这些规律是bug还是feature,我们都要摸清规律,才能更好地掌握模型的使用方法,这也正是学习提示工程的核心奥义。

最后,也不得不佩服网友们的创造力,到后期即使服务器不堪重负报错了,仍能从报错信息中找出正确解法。

这就是这款游戏的迷人之处,引无数算法大神竞折腰。


02 大神背后的大神


而开发这款游戏的大神,可谓是天才少年,他曾登上2019年《中国青年报》创业板块,占了整个版面。

我们先看下他的一些标签:

“小学三年级学习奥数”、“12岁自学编程”“第23届国际信息学奥林匹克竞赛(IOI)金牌第二名”、“高二应邀作为公司联合创始人创业”、“高中毕业保送清华大学”、“成为姚班(计算机科学实验班)学生”、“AI算法研究员”、“旷视研究院算法总监”“拿到4个国际顶级会赛冠军”、“IEEE国际计算机视觉与模式识别会议(CVPR)颁奖嘉宾”。

他的名字叫做范浩强。

出生于1994年的范浩强,从小就对数学具有浓厚兴趣的他,在三年级的时候开始学习奥数。

12岁时,接触到计算机,并为此着迷,开始通过网络自学编程,然后开始接触数学的高端玩法“信息学”(OI)。

如果说奥数是数学的低端玩法的话,那么,信息学(OI)竞赛就是高端玩法,因为,这个比赛主要体现在实用上,奥数只是解题,而信息学则主要通过计算机编程来实现一些算法,来解决实际问题。

其更注重参赛者的动手能力、编程能力、程序调试、分析问题、解决问题的能力,难度更大。

但是,在浓厚兴趣的推动下,范浩强却没有丝毫退缩,反而带着浓厚的兴趣参加训练,也参加了一场场比赛。

在2011年7月21日,作为中国队的选手之一,范浩强在泰国芭提雅以599分(满分600)的成绩夺得第23届国际信息学奥林匹克竞赛(IOI)金牌第二名。

并且他从高二开始做竞赛教练,碾压众多专业教练。

2012年,全国青少年信息学奥林匹克竞赛(NOI)上获得金奖后,被保送至清华大学计算机系。

能够进入中国的最高学府学习已经非常厉害了,但是,范浩强又一次成功地证明了自己,他通过“二次招生”考试考进了清华大学“姚班”(计算机科学实验班)。

“姚班”是什么?我们可以通过几组数据,直观的认识一下:

2018年仅有6位同学凭借高考裸分进入“姚班”。

2005年至今,姚班学生在本科期间发表的论文有193篇记录在册,姚班学生为论文通讯作者或主要完成人的有160篇;并有65人次在FOCS、STOC、SODA、NIPS、COLT、CVPR、AAAI等国际顶级会议上作大会报告。

2005年开班至今,“姚班”已经送走11届毕业生340人,41人赴Google、MSRA、IBM、Facebook、网易等著名计算机企业工作。

已经毕业的340人中有202人赴美国、新加坡、香港和法国等地读研,其中有赴MIT 18人、Princeton 20人、斯坦福大学9人、CMU 22人、耶鲁大学1人、宾夕法尼亚大学3人、哥伦比亚大学9人、UCBerkeley 9人等。

这些毕业生可以说都已经在国际计算机界崭露头角,有所作为,有些乃至于引领此轮全球信息革命创新浪潮。

范浩强就是进入这样一个班级,虽然这个班级里的每一位同学都是“神一样”的存在,但是,在他们眼里,范浩强依旧是不折不扣的“神人”,也是他们膜拜的对象。

他的成绩一直在“天才少年”云集的“姚班”常年保持第一。

由于出色的编程功底以及竞赛经历,在他高二的时候,就应邀成为旷视公司6个联合创始人之一。

2007年毕业后,范浩强选择了在成立不久的旷视公司工作,为AI研究添砖加瓦。

在工作期间,他带领团队创办旷视研究院,他作为资深算法研究员,从公司刚成立一切全靠摸索到今天成为被MIT TR评为全球50大最聪明公司之一。

他以算法总监的身份带领几百人一路摸爬滚打,在AI界不断展露头角,从跟跑者到引领者,特别是在人脸识别等视觉算法处理上。在国际上AI图像处理相关大赛中不断收斩奖牌。

这些比赛中最重量级的一个比赛要数全球计算机视觉顶级会议(CVPR ),范浩强带领的旷视研究院也是这个大赛的常客。

并且他还曾经作为这个大赛的颁奖嘉宾为获奖者颁奖。

CVPR是科技圈学术类会议最高级别,CV界的奥斯卡。

CVPR历年的Best paper获得者平均年龄超过45岁,这些站在舞台上的佼佼者或是已经在业界享有盛誉的名人,或是在高校中完成多项重大科研项目的教授。

但是,曾经还是一名来自中国的大二学生范浩强就作为颁奖嘉宾为这些年龄超过45岁的“叔叔”级别的最佳论文奖得主,也是行业内佼佼者颁奖。

这也在侧面反映了范浩强带领团队在CVPR界的地位与认可度。相信这也是代表中国在AI视觉界的一种不可撼动的地位。

左二为范浩强


03 被关停的命运


天才的神作,一夜之间在算法界封神,很遗憾,最后在累计用户破万之际,由于服务器挤爆、维护工作强度大等原因,作者本人不得已把游戏关服了。

虽然原版游戏已经玩不到了,但网友们对这套解谜挑战题的兴趣依然不减。

拿去和ChatGPT等各路AI手动过招,依然能在斗智斗勇中学到不少操作大模型的知识技巧。

对这段“从一夜过万到关站”的奇幻之旅,范浩强也在知乎分享了作为当事人的心路历程,总结如下:

个人开发者在大模型时代可以是“孤独侠客”,单人、业余时间就能开发出创新、有影响力的作品。

制作这款游戏,最初只是因为收到大模型创业公司月之暗面送来的免费API体验账号。

他结合之前已有的初步想法,花一个周六时间制作完成。

有朋友建议他,趁着国产游戏《完蛋!我被美女包围了!》爆火出圈的时机,把游戏名也起成“完蛋!”开头,找对了流量密码。

接下来随着用户不断增长,已超乎他一个人的能力处理范围。

作为开发者,一整天时间,他都在不停修服务器以及与月之暗面反馈。

作为大模型供应方,月之暗面为这个免费API付出的算力也快要超出预算了。

另外在生成式模型的合规方面,也需要慎重考虑。

最后范浩强做了一个“艰难的决定”,把游戏关停,但还是希望将来有人能把这个玩法发扬光大,探索出更多AI模型的秘密。

最后他总结出三点思考:

  1. “大模型与人的关系”仍是一片未被发掘的处女地,给从业者带来机会
  2. 国产大模型逐渐被认可,创新玩法亟待开发
  3. 合规、安全仍是从业人员必须要解决的问题

幸运的是,虽然原版游戏已关闭,但完整题目列表已公开,已有人搞出开源复现版。

还支持中英文,以及不同大模型版本,Huggingface可玩。

(也是前面游戏介绍中使用的版本。)