LLM 参数，显存，Tflops? 训练篇(5）

本文探讨了在深度学习训练过程中，尤其是Transformer模型，如何计算和管理显存。涉及模型参数、梯度、优化器的内存占用，以及激活（activations）的计算。分析了Self-Attention层和FFN/MLP层的显存占用，并以Llama-65B模型为例，展示了不同batch_size下激活占用的显存大小。提出了扩大GPU卡数量、调整batch_size和seq_number，以及使用梯度重算等策略来优化显存使用。