实时
REINFORCE Zero 使用对齐的 kernel 实现异步 RL 稳定训练
热点事件历史事件
REINFORCE Zero 使用对齐的 kernel 实现异步 RL 稳定训练
1 篇报道1 个报道来源13 天前更新
先了解这件事
AI 综述
NVIDIA Research 与 Inferact 发布 REINFORCE Zero 的论文和代码,提出先对齐 rollout 与训练 kernel,再用不裁剪的 token 级重要性采样修正权重滞后。据其报告,在 16 张 GPU、12K 次更新下,训练步吞吐为同步训练的 2.40 倍,并能在策略滞后 64 的情况下稳定训练至 20,000 次更新。 该方法的前提是 kernel 对齐,而每有新模型就会带来需要对齐的新算子。作者称,DeepSeek-V4.1-Flash 和发布当日的 Kimi K3.1 已达到零错配;这些运行只验证了对齐,长时异步训练仍待进行。 代价方面,在 OSWorld 上,REINFORCE Zero 平均每步耗时 944.25 秒,比带序列门控的标准 kernel 重要性采样(884.17 秒)多 6.8%。性能优化仍在进行。
AI 根据报道生成 · 更新于 12 天前
最新进展11月6日 08:00
REINFORCE Zero:对齐 kernel 让异步 RL 在 lag 64 下稳定训练报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- vLLM Blog精选REINFORCE Zero:对齐 kernel 让异步 RL 在 lag 64 下稳定训练
NVIDIA Research 与 Inferact 的 REINFORCE Zero 提出先对齐 rollout 与训练 kernel,再用不裁剪的 token 级重要性采样修正权重滞后,在 16 张 GPU、12K 次更新下训练步吞吐为同步训练的 2.40 倍。