AI 工具链

补全模型微调时训练集混进验证集,指标虚高到上线才发现候选全是错的

补全模型微调中验证集泄漏常被误判为普通过拟合,实则源于数据结构特殊性。泄漏主要有三类:同一上下文切分样本跨训练/验证集、同源派生数据分入两侧、验证集与训练集共享罕见模式。正确做法是按上下文单元分组划分,做来源级去重,优先用时间切分模拟真实场景,并保留完全隔离的污染测试集做上线前最终校验。