821 天前

01月01日,星期一 11:45

MIT 博士生发现新方法“LASER”,无需额外训练可提升模型 30% 性能

火讯财经讯,据量子位报道,MIT博士生发现,只需对Transformer的特定层进行一种非常简单的修剪,即可在缩小模型规模的同时显著提高模型性能。效果主要体现在文本理解任务上,最高可达30%。除了文本理解,它也适用于强化学习。这个操作只需在模型训练完成之后进行,不需要额外的参数和数据。该方法全称“Layer-SelectiveRankReduction”,简称“LASER”。这是一种选择性地去除LLM权重矩阵高阶组件(components)的干预措施,操作就在Transformer模型的特定权重矩阵和层中进行。研究发现,即使完全去除90%以上,模型性能一般也不会下降。

1
0
  • 美国财政部正式实施稳定币《GENIUS 法案》,100 亿美元以下发行人可选择州级监管

    火讯财经讯,美国财政部正式启动稳定币创新《GENIUS法案》实施工作,发布拟议规则制定通知——这是该法案的首条实施法规,共87页,公众评论期为60天。根据《GENIUS法案》,总发行量不超过100亿美元的支付稳定币发行人,可选择接受州级监管制度,前提是该州监管框架与联邦监管框架“实质相似”。美国财政部将通过此次通知制定判断“实质相似”的广义原则。

    7 分钟前

  • 数据:贝莱德从 Coinbase Prime 提取约 1450 枚 BTC 和 1780 枚 ETH

    火讯财经讯,大约1小时前,贝莱德通过旗下以太坊交易所交易基金ETHA从Coinbase Prime地址提取1780枚ETH,价值约合379万美元;随后又通过旗下比特币交易所交易基金IBIT从同一地址提取总计约1450枚BTC,价值约合9971万美元,后续或有进一步交易。

    30 分钟前

  • 贝莱德从 Coinbase Prime 提取约 1450 枚 BTC 和 1780 枚 ETH

    火讯财经讯,大约1小时前,贝莱德通过旗下以太坊交易所交易基金ETHA从Coinbase Prime地址提取1780枚ETH,价值约合379万美元;随后贝莱德又通过旗下比特币交易所交易基金IBIT从Coinbase Prime地址提取总计约1450枚BTC,价值约合9971万美元,后续或有进一步交易。

    30 分钟前

  • 数据:比特币矿企 Riot Platforms 疑似出售 500 枚 BTC

    火讯财经讯,比特币矿企Riot Platforms疑似出售500枚BTC,价值约合3413万美元。

    37 分钟前

  • 比特币矿企 Riot Platforms 疑似出售 500 枚 BTC

    火讯财经讯,比特币矿企Riot Platforms疑似出售500枚比特币,价值约合3413万美元。

    37 分钟前