I IT 面试题库
PPO 的 clipped objective 解决什么问题?奖励设计和离线 RL 落地时最容易踩什么坑?
高级场景题强化学习工程师PPO奖励设计离线RL分布偏移
题目
考察强化学习工程实践:算法稳定性、奖励工程和离线数据分布问题。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 29 天前更新
PPO 的 clipped objective
- 重要性采样比率
r_t = π_new(a|s)/π_old(a|s);PPO 把目标截断到 [1−ε,1+ε],限制每次策略更新幅度,避免策略一步走太远导致性能崩塌。
- 它本质是「信任域」的简化实现:不需要像 TRPO 那样解约束优化,工程上更易实现、可并行采样;但 clip 不是硬约束,超参 ε、学习率、GAE λ 仍影响稳定性。
奖励设计坑
- 奖励稀疏/延迟:需要 reward shaping、课程学习或 HER;但 shaping 可能引入偏差,让智能体钻空子。
- 奖励尺度/符号不一致、奖励黑客(reward hacking):智能体找到绕开真实目标的捷径;要在仿真/真实环境做行为审查。
- 多目标冲突:把多个指标硬加权,权重难调;可改用约束 RL/多目标优化。
离线 RL 坑
- 分布偏移:离线数据由旧策略采集,新策略选择数据外动作时 Q 值高估;需要保守约束(CQL/IQL)、行为克隆正则或不确定性估计。
- 数据覆盖不足、奖励标注不可靠、评估困难;要用离线策略评估(OPE)和仿真回放,不能只看训练 loss。
工程
- 固定随机种子、记录超参和 reward 版本、做消融;先在简单环境验证,再上真实系统,保留安全回退策略。
题目与答案就在本页;收藏、批注和错题重练在应用内