08月11日,星期五 02:15
火讯财经讯,据新智元8月11日消息,有两篇研究称,GPT-4在推理方面表现不尽人意。来自MIT的校友KonstantineArkoudas在21种不同类型推理集中对GPT-4进行了评估,并对GPT-4在这些问题上的表现进行了详细的定性分析。研究发现,GPT-4偶尔会展现出“最强大脑”的天赋,但目前来看,GPT-4完全不具备推理能力。而另一篇来自UCLA和华盛顿大学的研究也发现,GPT-4以及GPT-3.5在大学的数学、物理、化学任务的推理上,表现不佳。研究人员引入了一个大学科学问题解决基础SCIBENCH,其中包含2个数据集:开放数据集,以及封闭数据集。通过对GPT-4和GPT-3.5采用不同提示策略进行深入研究,结果显示,GPT-4成绩平均总分仅为35.8%。