2025_NIPS_Alternating Updates for Efficient Transformers

文章核心总结与翻译

一、主要内容

本文针对Transformer模型规模扩大带来的计算成本和推理延迟激增问题，提出了交替更新（Alternating Updates, AltUp） 方法，旨在不显著增加延迟的前提下提升模型容量。核心思路是将加宽的token表示向量划分为多个子块，每层仅对一个子块进行计算，并通过“预测-计算-修正”机制更新未激活的子块，从而在保持模型层宽度（及计算成本）不变的同时，利用更宽的表示维度提升性能。

文章还提出了两个关键扩展：

1. Recycled-AltUp：通过复用嵌入表避免加宽带来的额外参数和计算开销，几乎不增加可学习参数；
2. Sequence-AltUp：将AltUp思想扩展到序列维度，通过步幅采样和上下文传递降低长序列注意力机制的计算成本。

实验基于T5模型在GLUE、SuperGLUE、SQuAD等基准任务上验证，结果显示AltUp及其变体在相同精度下相比密集基线模型实现了最高87%的加速，且可与稀疏混合专家（MoE）等现有方法协同使用，进一步提升模型效率。

二、创新点

1. 提出了简单易实现的AltUp方法，填补了“高效利用加宽表示维度”的研究空白，无需复杂分片或大量超参数调优；
2. 设计了轻量级扩展变体（Recycled-AltUp、Sequence-AltUp），分别解决了嵌入表加宽的参数开销问题和长序列计算问题；
3. 验证了Alt