参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 29 天前更新
MDP 五元组
(S, A, P, R, γ):状态空间、动作空间、状态转移概率、奖励函数、折扣因子;目标是找到策略最大化期望累计折扣奖励。
- 马尔可夫性:下一状态只依赖当前状态和动作,与更早历史无关;不满足时要扩充状态或改用 POMDP/RNN。
值迭代 vs 策略迭代
- 值迭代:反复用 Bellman 最优方程更新 V/Q,直到收敛;每轮计算量大但迭代次数可能少,适合状态空间中等、需要快速近似。
- 策略迭代:策略评估 + 策略改进交替;通常迭代次数少但每次评估贵,适合动作/状态较小、需要精确策略。
- 两者都要求已知模型 P/R;大规模连续状态需函数逼近。
Q-learning
- 无模型、off-policy 的时序差分方法,用
Q(s,a) ← Q + α[r + γ max Q(s',a') − Q] 更新;适合未知模型、可在线交互的环境。
- 需要探索(ε-greedy/UCB)、经验回放和目标网络稳定训练;连续动作空间需 DDPG/TD3/SAC 等。
选择
- 有模型且状态小:动态规划;无模型离散动作:DQN/Q-learning;连续控制:策略梯度/actor-critic;离线数据:离线 RL(CQL/IQL)并处理分布偏移。