参考答案
内容深度:基础 · 无代码示例 · 来源:外部链接 · 未复核 · 28 天前更新
样本量
- 用基线指标、最小可检测效应(MDE)、α(通常 0.05)、power(0.8)做功效分析;样本越小,只能检测更大的效应。
- 分流单位与指标粒度一致(用户/会话/订单),避免同一用户跨组污染。
周期
- 至少覆盖一个完整业务周期(如 7 天),包含周末/工作日;不要因中途显著就停(peeking 会抬高假阳性)。
- 新用户/老用户可能不同,实验前定好分层分析,避免事后挑人群。
判断
- 看效应量/置信区间和业务成本,不只看 p 值;检查 AA、分流比例、样本污染;显著但护栏指标恶化要放弃。
- 上线后看长期留存/收入,避免短期新奇效应。