Apple揭示语言模型对齐理论极限

1. 08:00
   Apple Machine Learning Research

   研究揭示语言模型对齐的理论极限

   研究人员推导出固定KL散度预算下KL正则化对齐的最大预期奖励增益，首次用Jeffreys发散项而非√KL描述最优奖励改进；实验表明PPO和GRPO等常用方法远低于理论极限，最佳N选策略接近理论最优，为提升对齐效果提出算法改进方向。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。