跳到正文
实时
热点事件历史事件

OPSD存在偏差

1 篇报道1 个报道来源13 天前更新

先了解这件事

AI 综述

Baseten Labs 发布研究报告指出 on-policy self-distillation (OPSD) 存在偏差且效果有限。该技术通过学生模型自身生成的带上下文提示的输出进行训练,但研究表明这种密集的监督可能引入偏差,尤其对训练好的模型效果更差。

AI 根据报道生成 · 更新于 12 天前

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. Baseten Labs
    研究表明策略内自我蒸馏(OPSD)存在偏差且效果有限

    研究表明,策略内自我蒸馏(OPSD)在特定场景下可能仍有价值,但不应投入更多研究资源。OPSD 通过学生模型自身生成的带上下文提示的输出进行训练,但研究表明这种密集的监督可能引入偏差,尤其对训练好的模型效果更差。