01月01日,星期一 11:45
火讯财经讯,据量子位报道,MIT博士生发现,只需对Transformer的特定层进行一种非常简单的修剪,即可在缩小模型规模的同时显著提高模型性能。效果主要体现在文本理解任务上,最高可达30%。除了文本理解,它也适用于强化学习。这个操作只需在模型训练完成之后进行,不需要额外的参数和数据。该方法全称“Layer-SelectiveRankReduction”,简称“LASER”。这是一种选择性地去除LLM权重矩阵高阶组件(components)的干预措施,操作就在Transformer模型的特定权重矩阵和层中进行。研究发现,即使完全去除90%以上,模型性能一般也不会下降。