标签: #张量并行

多卡微调代码模型，并行组合策略对长序列稳定性的几个实测结论

多卡微调长序列代码模型实测表明，8K以上场景宜采用张量并行优先、数据并行兜底的组合。TP=2在8K-16K下稳定性最佳，32K需引入流水并行并调小ZeRO桶大小。纯DP易显存碎片化致loss尖刺，切块可缓解但损害长依赖。