参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 29 天前更新
先定假设与指标
- 实验前写清假设、主指标、次指标和停止条件;主指标只选一个,避免事后挑指标。
- 固定数据划分、预处理和评估协议;测试集只在最后用一次,调参用验证集/交叉验证。
基线要公平
- 基线使用相同数据、相同算力预算、相同预处理和调参预算;不能拿弱基线/未调参的模型对比。
- 报告多个强基线(简单启发式、经典模型、当前 SOTA),并说明实现来源和超参搜索范围。
消融要单变量
- 每次只改一个组件,保持其他条件一致;报告去掉/替换该组件后的变化,而不是只报完整模型。
- 对关键超参做敏感性分析;如果结论只在某个种子/某个数据集成立,要明确写出。
统计显著性
- 多种子/多折实验,报告均值、标准差/置信区间;用配对检验(如 Wilcoxon/ttest)比较同折结果,避免只报最好一次。
- 多重比较要校正(Bonferroni/FDR);样本量小的时候,效应量和置信区间比 p 值更有信息。
可复现
- 固定随机种子、记录环境/版本/硬件、公开代码和数据划分;报告失败实验和调参预算,避免只展示成功结果。