参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 29 天前更新
数据泄漏
- 划分前先检查重复样本、同一用户/同一文档跨训练测试、时间序列未来信息、预处理(归一化/特征选择)在划分前用了全量数据。
- 用 group split/时间切分,确保训练、验证、测试在实体或时间上隔离;目标编码/缺失值填充等统计量只能从训练集计算。
随机种子
- 固定 Python/NumPy/PyTorch/CUDA 种子,开启 deterministic 算法;记录种子和硬件,多跑几个种子报告均值/方差,避免单次幸运结果。
- 数据加载的 shuffle、dropout、增强也要可复现;分布式训练的随机性要单独说明。
评估协议
- 严格按论文/官方代码的划分、指标实现和预处理;先复现基线,再改模型;不要一边改协议一边比较。
- 检查指标细节:micro/macro、阈值选择、后处理、是否用测试集调参;对生成任务注意解码策略和评估模型版本。
复现流程
- 先跑官方代码/小数据打通,再逐步替换组件;记录每个差异及影响;如果无法完全复现,报告差距和可能原因(数据版本、算力、超参、实现细节)。
- 公开配置、日志和失败尝试;对比多个随机种子和公平基线,避免把实现 bug 当成算法收益。