01月01日,星期一 01:00
火讯财经讯,据量子位1月1日报道,对于ChatGPT变笨原因,学术界又有了一种新解释。加州大学圣克鲁兹分校一项研究指出:在训练数据截止之前的任务上,大模型表现明显更好。文章总结称,用现有数据训练AI以及人们过多使用AI,以至于改变了现实世界,AI无法适应改变后的世界,因此变得低效。论文重点研究了“任务污染”问题,即在大模型在训练时期就见识过很多任务示例,给人一种AI拥有零样本或少样本能力的错误印象。有学者从另一个角度指出,大模型训练后参数冻结,人们不断提出新的任务也就是输入分布不断变化。如果模型不能不断适应这种变化,就表现成能力慢慢退化。此前报道,GPT-4变笨?OpenAI回应:稳定性不足,但外部数据没有污染模型。