“1024直接对标ChatGPT!”科大讯飞星火大模型立Flag、一手实测来了

转载
563 天前
3122
AIcore

文章转载来源:AIcore

作者 | 屠敏

出品 | CSDN(ID:CSDNnews)

短短半年之内,在大模型赛道上,国内外 AI 头部玩家陆续带着自己的 AIGC 产品迅速就位并“开跑”。现如今,谁能打造出中国版 ChatGPT,已经不再是一个问题。但是,谁能做出更好的中国版 ChatGPT,成为业界关注的重点。

北京时间 5 月 6 日下午 2:00,作为人工智能“国家队”的科大讯飞,如约揭晓了其认知大模型——讯飞星火的真实面纱, 并带来了丰富的应用成果,为中国生成式 AI 市场再添一位猛将。

目前,讯飞星火认知大模型已经开启内测(https://xinghuo.xfyun.cn)。CSDN 在早前已经获得了内测,下文中,我们也将与大家一起探测「讯飞星火认知大模型」的真实情况,以及它的与众不同之处。


带着 7 大类 481 个细分的任务类型,讯飞星火认知大模型来了!


在发布会现场,科大讯飞董事长刘庆峰表示,认知大模型的技术阶跃和快速进化,让人工智能在全球掀起全新热潮。当前,认知大模型成为通用人工智能的“曙光”。与此同时,认知大模型的“智能涌现”将带来解决人类刚需的全新机遇。

具体来看,智能涌现的通用人工智能系统具有七大能力,包括文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力、多模态能力。基于此,人类只要做画龙点睛的加工,就能得到“懂你所言,答你所问,创你所需,解你所难,学你所教”的所有内容。

讯飞星火认知大模型是基于科大讯飞 12 年的技术积累,打造而成,实现了通用人工智能系统七大能力中的 481 个细分任务。其还在 2022 年 12 月 15 日,正式启动“1+N”认知大模型专项攻关,其中“1”就是指通用认知智能大模型,“N”就是大模型在教育、办公、汽车、人机交互等各个领域的落地。

对于先行者,刘庆峰表示,「向 OpenAI 致敬和学习,快速追赶并努力超越」。

与此同时,其更是在现场目标明确,立下 2023 年内讯飞星火认知大模型的升级 Flag:

  • 6 月 9 日,讯飞星火认知大模型将突破开放式问答、升级多轮对话能力、数学能力。
  • 8 月 15 日,突破代码能力、继续升级多模态交互能力。
  • 10 月 24 日,讯飞星火认知大模型将在通用大模型领域直接对标 ChatGPT,并在中文维度实现超越。

话不多说,我们也将从七大能力直接开启测试模式。


代码能力:多功能、多语言


对于程序员而言,关注的重点当然是大模型能给我们解决多少代码、编程问题。

在此,我们便先测试一下。

譬如,捉 Bug。

写代码:“围绕“给定一个 1-100 的整数数组,请找到其中缺少的数字”写一段实现代码”。

再来一个递归函数:

挑战难一点的:「怎么用 C++ 编写一个复数计算器?包括加减乘除、幂次方、取模、辐角、共轭。实部和虚部都是实数范围。」

对此,我们咨询了 CSDN-AI 团队研发总监对这段代码进行了点评,其表示:讯飞星火认知大模型生成的代码,复数类的代码基本实现是对的,但是测试用例没有一次性生成完整。和 GPT 生成的测试用例相比,这段代码比较简洁完整。

其实在代码能力上,刘庆峰坦言,讯飞星火大模型的这一功能和 ChatGPT 相比,还有很大差距,下一步升级的重点功能也是这一块。

就连大模型自身也说道:“我的代码生成功能仍然有限,可能无法满足复杂的业务需求”。

简单的代码问题,对于讯飞星火认知大模型来说,不成问题。不过在涉及到一些复杂的工业互联网、架构时,其生成的内容只能供参考。作为开发者,更要自行检查代码正确性、可靠性和保密性等等。


文本生成能力:多风格、多任务、长文本


首先,先给我们介绍一下自己:旨在“星星之火,可以燎原”。

再来科普一下认知大模型:

再让讯飞星火认知大模型来讲个英文的故事:

直接翻译成中文试试:

几次实测下来,讯飞星火认知大模型在不同语言的涌现能力表现都不错:

继续续写一个故事:如果奥特曼出现在《西游记》故事中,会发生什么?

结果显示,它对中国文化理解力也不错:

在这一功能上,刘庆峰表示,讯飞星火大模型在国内明显领先,并且在中文方面超过了 ChatGPT,并且在持续进步中。


语言理解:多层次、跨语种


中华文化博大精深,这是否会难倒讯飞星火认知大模型?

用现场的测试案例,先来一波直击灵魂的提问:「俗话说,男子汉大丈夫,宁死不屈。但俗话又说,男子汉大文夫,能屈能伸。这两种说法哪种是对的」

追问:「如果有个小伙子和女朋友吵架了,他是应该宁死不屈还是能屈能伸」。

语境理解:「女朋友生气时,说随便,男朋友应该怎么做?」

再来一个:「烈日之下,我哭了。烈日之下,我看到我的爸爸在干活,我哭了。分别表达了什么心情」

不得不说,拥有讯飞星火大模型的情商和理解力,绝对能分分钟拯救“每步都踩在女朋友的雷点上”的他。

再来试试英文:「这句话有问题吗:Each of the boys have a pen.」

结果显示,此大模型不仅能识别出错误,也能直接给出正确的语句答案。


知识问答:泛领域、开放式


先问一下关于医学问题:

提问:刺绣里面的"水路”、“落绷"是什么?

再问:「"蚂蚁上树”这道菜怎么做?」

这一次,我们终于没有看到真实的蚂蚁被做成菜的“指南”了:

不妨再来一场辩论试试:「以"AI创作的绘画是/不是艺术"为主题,进行辩论,正方:是艺术,反方:不是艺术,最终得出结论」

刘庆峰表示,讯飞的大模型也正在逐步学习专业的科学文献,未来回答也会更加专业。


逻辑推理


来一道经典的“过河”推理问题:

一个人带着一匹狼、一只羊和一捆卷心菜来到了河边。他需要过河,但是河边只有一条船,而且他只能带一样东西上船。他不能把狼和羊一起留在河边,也不能让羊和卷心菜一起留在河边,因为在这两种情况下,前者都会吃掉后者。那么,如何用最少的渡河次数把所有东西都带到河对岸呢?解释得详细一些

根据我们的需求以及提问,讯飞星火认知大模型能够尽可能提供详尽的解答:

继续提问:


数学能力


在数学能力上,先来一个简单的“鸡兔同笼”试试水。我们发现,相比其他大模型,讯飞星火似乎更善用方程来解决问题:

接下来,我们又用了此前在其他三四款大模型上提过的问题来进行了测试,但是彼时只有 ChatGPT 回答出来了。

提问:某厂一车间有 64 人,二车间有 56 人,现因工作需要,要求第一车间人数是第二车间人数的一半,问需从第一车间调多少人到第二车间?(列方程解答)

讯飞星火认知大模型并没有让我们失望,成功做出了解答:

再来测试一下不动脑筋就会想错的问题:「公司的股票昨天涨了 10%,今天又跌了 10%,请问是涨了还是跌了」。


多模态能力


截至目前,虽然星火认知大模型不是国内第一个发布的,但在多模态能力上,功能还是颇为全面的,具有语音、图文理解、虚拟人合成、多模态交互等多种能力。

不过,有些遗憾的是,这些功能目前处于科大讯飞内部测试阶段,尚未公开。根据其官方计划,公测用户应该能在 8 月份用上。

当前,倒是可以通过现场演示一饱眼福。如上传一张英文菜单图片,直接翻译为中文:

也可以畅想一下,对于英文不好的技术人而言,是不是可以通过大模型,无障碍阅读很多英文文献、论文了。

下面进一步交互,表现力也不错:

也能直接语音输出:

还能直接生成虚拟人。这个虚拟人能够结合文字叙述的背景,配上相应的背景图、手势、语气,实现寓意贯穿。


畅想一下未来


综合以上,讯飞星火认知大模型在情商、智商、逆商不错的表现能力,有目共睹。不过,这也引发了不少从业者的焦虑,现在不妨也让它来与我们一起畅想一下未来。

当问及和人类的智慧相比,谁更胜一筹时,星火认知大模型给出了中肯的回答:在某些情况下,还需要人类的判断和智慧。

面对现在很多程序员都要问上一句的“取代潮”,它表示自己不太可能完全取代程序员的工作。

畅想未来,它也能很现实地告知,理想中的 AGI 离我们还有很远,甚至可以说是遥不可及。

这对于很多新闻播报的自媒体工作者而言,无疑是福音来了。

与此同时,当问及未来开源 AI 大模型的发展趋势时,其中立地回答道:各有优劣,未来的发展趋势将取决于具体的应用场景和技术需求。


最后


整体测试下来,讯飞星火认知大模型给我们带来的惊喜远远大于预期,这也是讯飞大模型在今天发布之后频频获得好评的原因。不过,刘庆峰也表示,目前纯大模型技术在新知识获取、事实类问答、史实与传统典籍理解等方面还有一定的缺陷。

不过正如文章伊始所述,这些难题攻克都已经提上日程。

如今,讯飞星火认知大模型技术也已经从单一的大模型本身,成功扩展到教育、办公、汽车、数字员工等 N 个方向,在不断迭代中,我们也期待星火认知大模型更加亮眼的表现。