transformer预训练warmup步数设置

大模型预训练学习率Warmup（预热）的核心策略是：采用线性或余弦衰减预热，将初始学习率从0逐步提升至峰值，预热步数通常占总训练步数的1%-3%，具体数值需根据模型参数量、Batch Size及硬件集群规模动态调整，以平衡初期梯度稳定性与后期收敛效率，为什么Warmup是预训练的“安全阀”在千亿参数大模型的预训……