参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 28 天前更新
Experience replay
- 把 (s,a,r,s') 存进缓冲区,随机采样小批量训练,打破连续样本的时间相关性,提高数据利用率、平滑更新。
- 但旧数据来自旧策略,off-policy 可用;要控制缓冲区大小/采样优先级。
Target network
- 用独立的目标网络计算 TD target,定期同步主网络,避免「自己追自己」导致目标漂移/震荡。
- 与 replay 一起用:replay 提供稳定分布,target network 提供稳定目标;再配合 ε-greedy 探索、梯度裁剪、Double DQN 减少高估。
坑
- 目标网络同步太频繁失去稳定作用;replay 太小/太旧;奖励尺度大;只调网络不调探索。