← archive

Tag

#EMA

1 posts

beta=0.999 与 eval 权重
beta=0.999 与 eval 权重
·5 分钟阅读

beta=0.999 与 eval 权重

训练时对参数做指数滑动平均,验证和部署常用 EMA 权重——曲线更顺,有时泛化更好,但要与 optimizer 步和 checkpoint 策略一致。

READ →