11月15日,星期三 11:30
火讯财经讯,据机器之心11月14日报道,近日,专注于AI的Vectara平台发布大模型幻觉率排行榜。从榜单可以得知,GPT-4的幻觉率最低,为3%,而谷歌Palm的幻觉率高达27.2%。据悉,为了确定这个排行榜,Vectara使用各种开源数据集对摘要模型进行了事实一致性研究,并训练了一个模型来检测LLM输出中的幻觉。他们使用了一个媲美SOTA模型,然后通过公共API向上述每个LLM输送了1000篇简短文档,并要求它们仅使用文档中呈现的事实对每篇文档进行总结。在这1000篇文档中,只有831篇文档被每个模型总结,其余文档由于内容限制被至少一个模型拒绝回答。利用这831份文件,Vectara计算了每个模型的总体准确率和幻觉率。