Tag

#学习率

1 posts

2026年6月16日·5 分钟阅读

学习率与 warmup

训练初期 LR 过大容易 loss spike——linear/cosine warmup 让优化稳定；peak LR 和 total steps 要匹配 batch size 和 optimizer。

READ →