10月12日,星期六 06:30
火讯财经讯,10月12日消息,据TheDecoder报道,OpenAI推出了名为MLE-bench的新基准,旨在评估AI代理在机器学习解决方案开发中的表现。该基准涵盖75项Kaggle竞赛,重点评估当前机器学习开发的挑战性任务,并将AI结果与人类表现进行比较。初步测试中,o1-preview模型与AIDE框架结合表现最佳,在16.9%的竞赛中获得铜牌,超过了Anthropic的Claude3.5Sonnet。通过增加尝试次数,o1-preview的成功率翻倍至34.1%。OpenAI认为,MLE-bench有助于评估核心ML工程技能,尽管它并未涵盖所有AI研究领域。