09月08日,星期五 09:30
火讯财经讯,据IT之家9月7日消息,斯坦福大学的一项新研究发现,热门生成式AI聊天机器人ChatGPT的能力在几个月内有所波动。目前,ChatGPT有免费的GPT-3.5模型和更智能、更快速的付费GPT-4版本。研究人员发现,GPT-4在3月份能够有效地解决数学问题,识别质数的准确率为97.6%。三个月后,其准确率下降到了2.4%。而另一方面,GPT-3.5却变得更好,从7.4%的准确率提高到了86.8%。研究人员还注意到,在编写代码和视觉推理方面也有类似的波动。研究人员认为,结果并不能真正反映ChatGPT性能的准确性状态,而是显示了微调模型带来的意外后果。本质上,当修改模型的一部分来改善一个任务时,其他任务可能会受到影响。为什么会这样很难确定,因为没有人知道ChatGPT是如何运作的,而且它的代码也不是开源的。