参考答案
内容深度:基础 · 无代码示例 · 来源:外部链接 · 未复核 · 28 天前更新
先定假设
- 写清改什么、影响谁、预期指标、最小可检测效应;一次只改一个主要变量,避免多改混在一起。
- 选主指标 + 护栏指标(投诉、卸载、性能、收入),避免为了点击牺牲体验。
样本与周期
- 用功效分析估样本量(α、power、基线、MDE);至少覆盖一个完整业务周期(如 7 天),不要看到显著就停。
- 随机分流要一致(同用户稳定分组),检查 AA/分流偏差;多重比较要校正。
判断
- 看置信区间/效应量,不只看 p 值;关注新用户/老用户异质性;显著但效应小要考虑成本。
- 上线后继续监控长期留存/护栏,避免「实验涨、长期跌」。