跳到正文
实时
热点事件历史事件

价值函数计算效率研究

1 篇报道1 个报道来源20 天前更新

先了解这件事

AI 综述

Base Labs 称研究发现价值函数在强化学习中的计算效率通常不值得,因为它产生的梯度噪声减少量往往小于训练成本。在单轮任务中,完美价值函数最多能消除 40-60% 的优势方差。唯一可能受益的情况是使用小型价值头,但收益可能微乎其微。PPO 批评家与 GRPO 在相同步数下表现相当或更差,而一些研究通过在组上添加批评家或使用组相对奖励机制实现了对 GRPO 的改进。

AI 根据报道生成 · 更新于 19 天前

报道时间线

沿着报道,了解事件的不同侧面。

10月30日
  1. Baseten Labs
    Base Labs 研究发现价值函数在强化学习中的计算效率

    Base Labs研究发现价值函数在强化学习中的计算效率通常不值得,因为它产生的梯度噪声减少量往往小于训练成本。在单轮任务中,完美价值函数最多能消除40-60%的优势方差。唯一可能受益的情况是使用小型价值头,但收益可能微乎其微。PPO批评家与GRPO在相同步数下表现相当或更差,而一些研究通过在组上添加批评家或使用组相对奖励机制实现了对GRPO的改进。