标签: #LoRA

三种微调方式跑同一批代码补全测试，显存占用和候选质量的差距比想象中大

QLoRA 显存仅为全参微调三分之一，质量差距小于预期；LoRA 居中。全参微调仅在长补全子集上优势明显。r=16 为 LoRA/QLoRA 甜点。短补全场景三者可互换，长补全或高 EM 要求选全参，显存受限选 QLoRA。