标签: #偏好优化

把历史 review 拒掉的改动做成负样本，微调后模型还会犯同样的错吗

负样本微调只能局部压制特定坏模式，无法教会模型正确写法，常导致模型从一种错误迁移到另一种。有效做法是按模式聚类、配高质量正样本（至少1:2）、构造近邻负样本，并利用reviewer评论做条件训练，将“不要这样”转化为“应该这样”。实测显示，该方法可显著降低同类及相邻坏模式出现率。