参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 28 天前更新
GAE
- 用 λ 在单步 TD(低方差高偏差)和蒙特卡洛(高方差低偏差)之间折中;λ=0 近似 TD,λ=1 近似 MC。
- 优势估计 Â_t = Σ(γλ)^k δ_{t+k};λ 越大方差越高、偏差越低,通常 0.9–0.98。
关系
- A2C:同步多环境采样 + advantage actor-critic;A3C:异步多线程,省通信但难复现。
- PPO:在 A2C 基础上用 clipped objective 限制策略更新幅度,工程更稳定;本质仍是 actor-critic + 优势估计。
实践
- 归一化 advantage/observation,分环境并行;监控 entropy、KL、clip fraction;GAE 的 λ 和 γ 要一起调。