10月21日,星期六 12:45
火讯财经讯,据站长之家报道,UC伯克利研究人员提出了一项名为RingAttention的新方法,以解决深度学习模型中内存需求的挑战。在最新的研究中,研究人员探讨了Transformer模型在处理长序列时面临的问题,特别是由于自注意力机制引发的内存需求。RingAttention通过将自注意力和前馈网络计算块块地分布在多个设备上,实现了内存高效,允许训练超过500倍长度的序列。研究人员的实验证明,RingAttention可以将Transformer模型的内存需求降低,使其能够训练比以前的内存高效方法长500倍以上的序列,而不需要对注意力机制进行近似。此外,RingAttention还允许处理长度超过1亿的序列,为处理大规模数据提供了可能性。