SimPO为何无需参考模型

SimPO算法之所以不需要参考模型，是因为它通过直接优化偏好概率比率，将传统RLHF中复杂的“参考模型约束”简化为对正负样本对数几率差的直接惩罚，从而在降低显存占用和推理延迟的同时，实现了更稳定的收敛效果，SimPO的核心机制：从“间接约束”到“直接优化”在2026年的大模型训练语境下，理解SimPO（Simp……