TimeLimit 不是终止：bootstrap 要看 terminatedRL2026年7月26日·3 分钟阅读TimeLimit 不是终止：bootstrap 要看 terminated用 Gymnasium 的 terminated/truncated 分离重置条件与价值边界，并处理 replay、GAE 和自动重置环境里的最后观测。#强化学习#Gymnasium#价值函数READ →
贝尔曼备份：TD 目标从哪来RL2026年6月13日·4 分钟阅读贝尔曼备份：TD 目标从哪来TD、Q-learning、DP 共用贝尔曼期望方程；backup 目标写错，整个 value 函数会系统性偏。#强化学习#价值函数#TDREAD →
