07月20日,星期四 04:00
火讯财经讯,据MarkTechPost报道,在最近发布的一篇研究论文中,斯坦福大学和康奈尔大学的研究者提出了一种方法以应对大型语言模型极高的训练成本。该团队举例说,在维基百科5,500万个页面上运行推理的成本超过10万美元,相当于每1,000个词组的价格超过0.002美元。与直接对每个文档进行推理相比,这些研究者提出的方法可以将推理成本降低110倍,同时还能提高推理结果的质量。据悉,该原型系统称为EVAPORATE,由LLMs提供动力,并确定了两种不同的系统实施策略。第一种策略是提示LLM直接从文档中提取值。第二种策略是促使LLM合成执行提取的代码。研究小组对这两种方法进行了评估,发现它们之间存在成本与质量的权衡。虽然代码合成的成本更低,但其准确性也不如直接用LLM处理每个文档。为了提高质量并保持低成本,该团队还提出名为EVAPORATE-CODE+的扩展代码合成实现方法。