参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 28 天前更新
最大熵
- 目标不只是累计奖励,还加策略熵:J = Σ E[r + α H(π(·|s))];鼓励探索、提高鲁棒性,α 可自动调节。
- 适合连续控制/多峰最优策略;温度 α 太小退化为普通 RL,太大则只顾随机。
双 Q
- 用两个 Q 网络取较小值作为 target,缓解 Q 高估;配合 target network 稳定训练。
- 采用 off-policy replay,演员网络输出动作分布(通常 squashed Gaussian),重参数化采样。
工程
- 调 reward scale、target entropy、α;注意 Q 值过估计/训练不稳定;离线数据上要加保守约束,不能直接套 SAC。