277 天前

02月18日,星期二 10:00

DeepSeek发布《原生稀疏注意力:硬件对齐且可原生训练的稀疏注意力机制》论文

火讯财经讯,2月18日消息,DeepSeek团队近日发布了一篇题为《原生稀疏注意力:硬件对齐且可原生训练的稀疏注意力机制》的技术论文,介绍了他们提出的NSA(NativelySparseAttention)机制。NSA结合了算法创新和硬件优化,旨在实现高效的长文本建模。其核心创新包括: 1.动态分层稀疏策略,结合粗粒度的令牌压缩与细粒度的令牌选择,以保留全局上下文信息和局部精度; 2.通过平衡算术强度的算法设计和现代硬件优化,显著加速计算; 3.支持端到端训练,减少预训练计算成本,同时保持模型性能。 实验结果表明,NSA在长文本任务和指令推理等领域表现优异,尤其在64k长度的序列处理中,实现了解码、前向传播和反向传播的显著加速。

1
0
  • 美联储柯林斯:9月和10月累计降息50个基点后,当前政策正处于适度紧缩区间

    火讯财经讯,11月22日消息,据金十报道,美联储柯林斯表示,鉴于通胀和就业双重目标持续面临风险,她仍倾向于反对美联储在下个月降息。柯林斯在一场会议期间表示:“对于在12月FOMC会议上降息,我确实认为需要保持谨慎。在9月和10月累计降息50个基点后,我个人认为当前政策正处于适度紧缩区间,这对当前经济状况是合适的。”

    28 分钟前

  • Strategy:持有的BTC若按近期价格计算可满足71年派息需要

    火讯财经讯,11月22日消息,比特币财库公司Strategy在X平台发文表示,若按近期价格计算,目前该公司持有大约65万枚BTC完全可以满足71年的派息需要,同时指出只要比特币每年升幅约1​​.41%,产生的收益足够支付全年股息。不过社区指出Strategy的数据基于多项假设,包括比特币价格维持不变、全部持仓可用于出售或抵押融资、无外部冲击或税务影响、可转换债务结构持续可控,以及股息支付额度稳定。

    28 分钟前

  • 美联储柯林斯:尚未就12月FOMC会议作出决定,结束资产负债表缩减是恰当的

    火讯财经讯,11月22日消息,据金十报道,美联储柯林斯表示尚未就12月FOMC会议作出决定,9月就业数据喜忧参半,新增就业岗位超出预期,金融状况是经济的顺风,结束资产负债表缩减是恰当的,美联储政策“略显紧缩”,这符合当前经济状况。

    58 分钟前

  • 美联储柯林斯仍认为有理由对12月降息持谨慎态度

    火讯财经讯,11月22日消息,据金十报道,美联储柯林斯表示,仍认为有理由对12月降息持谨慎态度,基准展望显示失业率将有所上升,通胀最终将回落。目前对美联储而言是复杂时期,政策观点存在差异并不令人意外。

    58 分钟前

  • Michael Saylor发起“本周是否HODL”投票,当前未抛售投票占比近80%

    火讯财经讯,11月22日消息,Strategy创始人兼执行主席MichaelSaylor在X平台发起“本周是否HODL”投票,当前已有约5000名投资者参与,未抛售的投票占比79.9%,抛售占比为20.1%。

    1 小时前