大模型DPO和KTO有什么区别

DPO（直接偏好优化）通过最大化人类偏好概率分布来对齐模型，而KTO（知识训练优化）则利用外部参考标签直接优化损失函数，二者核心区别在于DPO依赖成对比较数据，KTO依赖单样本绝对标签，且KTO在数据稀缺场景下效率更高，随着大模型从“能回答”向“会协作”演进，人类反馈强化学习（RLHF）的变体成为技术焦点，20……