304 天前

02月18日,星期二 10:00

DeepSeek发布《原生稀疏注意力:硬件对齐且可原生训练的稀疏注意力机制》论文

火讯财经讯,2月18日消息,DeepSeek团队近日发布了一篇题为《原生稀疏注意力:硬件对齐且可原生训练的稀疏注意力机制》的技术论文,介绍了他们提出的NSA(NativelySparseAttention)机制。NSA结合了算法创新和硬件优化,旨在实现高效的长文本建模。其核心创新包括: 1.动态分层稀疏策略,结合粗粒度的令牌压缩与细粒度的令牌选择,以保留全局上下文信息和局部精度; 2.通过平衡算术强度的算法设计和现代硬件优化,显著加速计算; 3.支持端到端训练,减少预训练计算成本,同时保持模型性能。 实验结果表明,NSA在长文本任务和指令推理等领域表现优异,尤其在64k长度的序列处理中,实现了解码、前向传播和反向传播的显著加速。

1
0
  • Swift将引入区块链账本,携手30+银行构建全球互操作数字金融基础设施

    火讯财经讯,12月19日消息,据Swift公告,其正与全球逾30家银行合作,推进基于区块链的账本系统设计,旨在拓展现有金融基础设施,支持规模化的代币化资产流通。Swift表示该账本将通过智能合约记录和验证交易顺序,实现与现有系统并行运行,解决数字金融碎片化问题,提升全球跨境支付和资产转移效率。

    6 分钟前

  • 美联储威廉姆斯:CPI数据低是技术因素所致,并不急于调整货币政策

    火讯财经讯,12月19日消息,美联储威廉姆斯周五表示,某些“技术因素”可能扭曲了11月份的消费者价格指数(CPI)数据,导致该数据低于实际水平。威廉姆斯表示:“有一些特殊的实际因素,与他们无法在10月份和11月上半月收集数据有关。正因为如此,我认为某些类别的数据受到了扭曲,这可能导致CPI数据被拉低了大约0.1个百分点。”威廉姆斯还表示,美国经济目前处于“良好状态”,并暗示他“最终会看到”利率下降。但他强调,他并不急于调整货币政策。

    6 分钟前

  • 一新建钱包从FalconX接收836.4 BTC,约7367万美元

    火讯财经讯,12月19日消息,据OnchainLens监测,一个新创建的钱包从FalconX接收了836.4 BTC(约7367万美元)的大额转账。

    35 分钟前

  • 韩国现代集团总部遭炸弹威胁,称若不支付13枚比特币将实施爆炸

    火讯财经讯,12月19日消息,据MoneyS报道,韩国首尔钟路区现代集团延知洞总部今日收到威胁邮件,称若不支付13枚比特币将实施爆炸。警方迅速出动并展开搜查,未发现爆炸物,集团已安排员工提前离开。近期韩国多家企业接连遭遇类似炸弹威胁事件。

    35 分钟前

  • Nodu完成145万美元融资,构建欧版“Zerohash”稳定币基础设施

    火讯财经讯,12月19日消息,据Tech.eu报道,总部位于伦敦、拥有拉脱维亚背景的稳定币基础设施初创公司Nodu宣布完成145万美元Pre-Seed轮融资,由DigitalSpaceVentures领投,旨在为欧洲金融机构提供符合MiCA法规的稳定币合规接入方案,打造“欧版Zerohash/Bridge”。Nodu平台支持KYC/AML、稳定币支付与法币出入金,目前已覆盖逾100个国家,未来将进一步扩展全球布局并加强与银行和金融科技机构的合作。

    36 分钟前