混合精度下的梯度累积:loss 缩放、裁剪与 step 顺序DL2026年7月28日·18 分钟阅读混合精度下的梯度累积:loss 缩放、裁剪与 step 顺序沿 autocast、GradScaler、unscale_、裁剪与 optimizer.step 的数据流说明静默错误;区分 micro-batch 平均与求和,并用等价性测试验收。#深度学习#AMP#梯度累积#训练稳定性READ →