跳到正文
实时
Hugging Face Daily Papers·· 1 天前精选73

V-JEPA-LM 开源视频语言模型 Llama-V-JEPA-LM 发布

V-JEPA-LM: Video-Language Models That Read Dynamics Beyond Static, Text-Aligned Representations

要点速览

研究团队发布开源视频语言模型 Llama-V-JEPA-LM,将冻结的 V-JEPA 2.1 世界模型编码器与 Qwen3 / Llama(1B–8B)结合,采用单阶段训练和反事实监督:同一片段及其变换副本(倒放、镜像、改变时序)配同一问题但不同答案,使模型只能依据变化本身作答。

Why it matters

在视频动态理解这一薄弱环节上,该工作用反事实监督把冻结的 V-JEPA 2.1 世界模型接入 Qwen3/Llama,并给出与 Meta 视频 LLM 的数据和 token 用量对比。

正文 · AI 翻译

We release Llama-V-JEPA-LM, 开源视频语言模型,将冻结的 V-JEPA 2.1 世界模型编码器与 Qwen3 / Llama (1B–8B) 结合,使用反事实监督单阶段训练:视频片段及其转换副本(反转、镜像、重新计时)得到相同的问题但不同答案,因此只有变化本身可以解释答案。

  • 在 11 个视频基准测试中领先所有规模类别(4B:平均 72.14),在动态方面表现最强(TOMATO、Vinoground、SSv2)
  • 使用 1/20 的训练数据和 1/9 的视觉标记击败了 Meta 的 V-JEPA 2 / 2.1 视频LLM
  • 4.53M 公开样本,每帧 32 个视觉标记,一个训练阶段

所有 6 个检查点、代码和实时演示都是开源的。

来源: Hugging Face Daily Papers · huggingface.co