标签: #AST结构指纹

从 monorepo 里挑微调样本，我是怎么把重复样板代码挡在门外的

从 monorepo 筛选微调样本时，重复样板代码是最大陷阱。文章提出三层过滤方案：AST 结构指纹归一化标识符后算哈希，抓“换皮代码”；路径聚类利用目录结构识别同目录批量生成物；diff 信号通过 Git 历史标记长期未修改的死代码。三者叠加可将重复率从 34% 降至 4%，同时避免误杀同构不同义的高价值业务样本。