大模型预训练学习率衰减策略

在2026年的大模型预训练实战中，Cosine衰减（余弦退火）通常建议配合Warmup阶段使用，初始学习率设为最终最小学习率的10-100倍，衰减周期覆盖整个训练步数，并在最后5%-10%的epoch保持最低学习率以稳定收敛，这是目前兼顾训练速度与模型精度的最优解，为什么Cosine衰减成为主流配置在Trans……