738 天前

09月05日,星期二 10:00

上海交大发布大模型双语编程评估基准 CodeApex

火讯财经讯,据机器之心报道,上海交通大学APEX实验室推出了CodeApex,一个专注于评估LLMs的编程理解和代码生成能力的双语基准数据集。在评估大语言模型的编程理解能力上,CodeApex设计了三种类型的选择题:概念理解、常识推理和多跳推理。此外,CodeApex也利用算法问题和相应的测试用例来评估LLMs的代码生成能力。CodeApex总共评估了14个大语言模型在代码任务上的能力。其中GPT3.5-turbo表现出最好的编程能力,在这两个任务上分别实现了大约50%和56%的精度。可以看到,大语言模型在编程任务上仍有很大的改进空间。

3
0
  • BTC突破116000美元,日内涨幅 0.77%

    火讯财经讯,9月13日消息,欧易OKX行情显示,BTC刚刚突破116000美元,现报116012.90美元/枚,日内涨幅0.77%。

    14 分钟前

  • ETH突破4600美元,日内涨幅 1.38%

    火讯财经讯,9月13日消息,欧易OKX行情显示,ETH刚刚突破4600美元,现报4604.88美元/枚,日内涨幅1.38%。

    44 分钟前

  • 上市公司LiveOne披露其比特币持仓已增至500多万美元

    火讯财经讯,9月12日消息,据Globenewswire报道,音乐、娱乐和技术公司LiveOne(纳斯达克股票代码:LVO)披露,其比特币持仓已增至500多万美元。

    2 小时前

  • 过去24小时全网合约爆仓2.87亿美元,主爆多单

    火讯财经讯,9月12日消息,Coinglass数据显示,过去24小时加密货币市场全网合约爆仓2.87亿美元,其中多单爆仓2.17亿美元,空单爆仓7026.71万美元。BTC爆仓总金额6858.03万美元,ETH爆仓总金额6530.42万美元。

    2 小时前

  • Tether CEO:公司正推出一种名为USAT的基于美国的稳定币

    火讯财经讯,9月12日消息,据金十报道,Tether公司首席执行官:公司正在推出一种名为USAT的基于美国的稳定币。

    3 小时前