学习大模型训练的显存管理与混合精度

全精度 FP32 训练时每个参数需存权重、梯度及 AdamW 两份优化器状态共 16 字节，7B 模型仅这部分就达 112 GB，超过 H100 单卡 80 GB 显存。文章还拆解了激活值显存公式，并介绍混合精度训练（FP16/BF16 与 FP32 主权重并存）、梯度累积和激活重计算三类省显存手段。