474 天前

06月27日,星期二 09:45

微软打造 13 亿参数小型 LLM AI 模型,并称实际效果胜于千亿参数 GPT-3.5

火讯财经讯,IT之家今日发文表示,AI模型盲堆体积实际上效果并不见得更好,更多要看训练数据的质量,微软日前最近发布了一款13亿参数的语言模型phi-1,采用“教科书等级”的高品质资料集训练而成,据称“实际效果胜于千亿参数的GPT3.5”。该模型以Transformer架构为基础,微软团队使用了包括来自网络的“教科书等级”数据和以GPT-3.5经过处理的“逻辑严密的内容”,以及8个英伟达A100GPU,在短短4天内完成训练。微软团队表示,比起增加模型的参数量,通过提高模型的训练数据集质量,也许更能强化模型的准确率和效率,于是,他们利用高质量数据训练出了phi-1模型。在测试中,phi-1的分数达到50.6%,比起1750亿参数的GPT-3.5(47%)还要好。微软还表示,phi-1接下来会在HuggingFace中开源,而这不是微软第一次开发小型LLM,此前,他们打造一款130亿参数的Orca,使用了GPT-4合成的数据训练而成,表现也同样比ChatGPT更好。

0
0
  • 某鲸鱼9小时前买入480万美元AAVE并借入270万枚GHO购买AAVE

    火讯财经讯,10月13日消息,据Lookonchain监测,某巨鲸9小时前买入31,173枚AAVE(480万美元)并将其存入Aave。然后他从Aave借了270万枚GHO并兑换为USDC。并将USDC存入Coinbase来购买更多AAVE。

    1 分钟前

  • Ava Labs联创:接下来将注重垂直扩展

    火讯财经讯,10月13日消息,AvaLabs联合创始人KevinSekniqi在X平台表示,Avalanche过去几年一直专注于实现水平扩展(应用链等),似乎很快就能在这一领域占据主导地位。然而,在垂直扩展方面还有很多工作要做。这是下一步必须解决的问题。更大型的硬件一定是其中的核心。  

    16 分钟前

  • 神鱼:正酝酿更多计划和布局

    火讯财经讯,10月13日消息,Cobo联合创始人兼CEO神鱼在X平台表示,最近确实有点‘躺平’,不过放心,平庸并不意味着停止前进,而是更多的思考和沉淀。很多计划和布局还没有完全浮出水面,但可以肯定的是,依然在路上。

    1 小时前

  • ZachXBT:针对线下加密交易者的窃贼数量有所增加

    火讯财经讯,10月13日消息,据Cointelegraph报道,加密侦探ZachXBT近期表示,针对线下加密货币交易者的窃贼数量有所增加。在10月10日的一篇帖子中表示,在过去几个月中收到了来自西欧多名加密货币入室盗窃受害者的消息,“其发生频率远远高于其他地区”。他在9月27日通过Telegram频道分享的消息中也提出了同样的说法,称他知道最近几个月加密社区中有几个人被枪指着,加密货币也被盗。与此同时,ZachXBT声称已经找到证据,证明一名X用户在2024年6月的入室盗窃中被盗取了430万美元的加密货币,他的地址和个人信息在数据泄露后被盗,这让窃贼得以追踪到他。

    1 小时前

  • 以太坊Layer2网络总锁仓量364.3亿美元,7日上涨2.35%

    火讯财经讯,10月13日消息,据L2BEAT数据显示,以太坊Layer2网络当前总锁仓量为364.3亿美元,7日上涨2.35%。锁仓量前五分别为:ArbitrumOne(132.4亿美元,7日下跌0.64%);Base(75.5亿美元,7日上涨5.93%);OPMainnet(61.9亿美元,7日上涨1.52%);Scroll(14.2亿美元,7日上涨16.74%);Blast(14.1亿美元,7日上涨0.37%)。

    1 小时前