跳到正文
实时
11月13日周五
  1. Hugging Face Daily Papers

    BirdDreams:联合视角与 BEV 视频生成实现合理、反应式驾驶世界模型

    BirdDreams 联合生成视角视频和鸟瞰视频(BEV),使场景布局成为预测未来的部分,通过 BEV 提供车辆位置和运动的俯视图,减少遮挡,而视角视频保留场景细节。在 PhysicalAI-AV 和 nuScenes 上,BirdDreams 比先前的驾驶世界模型更忠实地遵循输入的自身轨迹,并生成更合理的自身运动,无需 HD 地图或车辆状态输入。

11月5日周四
  1. Hugging Face Daily Papers65

    EmoReward:一种用于情感视频生成自演化的奖励校准机制

    EmoReward 通过从实际训练运行中收集的奖励轨迹中提取证据可靠性,自适应地指导多奖励权重分配,以校准情感视频生成的奖励权重。该机制首先根据情感提示规划特定的接地线索进行评估,然后使用异构信号原语在生成阶段对视频进行评分,并通过反射奖励门控对它们的贡献进行校准。

11月4日周三
  1. Hugging Face Daily Papers65

    MoviEdit:长片段多镜头视频编辑框架

    MoviEdit 框架通过级联双向自回归建模和新的基准测试,在减少人工数据标注的同时保持跨场景的连贯性,大幅优于现有开源模型,性能与行业前沿模型相当。该框架自动生成 87K 对配对编辑视频用于跨镜头监督,采用轻量级双向阶段建立全局编辑草稿,再进行自回归传播和细化。

11月3日周二
  1. Hugging Face Daily Papers

    Agent Harness 如何实现视频生成与智能体交互

    Agent Harness 整合视频生成与世界模型,支持智能体在多镜头视频制作中进行规划、工具使用和递归自改进。该框架协调脚本、拍摄规划、资产管理、生产和编辑,并分析其评估挑战;同时研究智能体与世界模型在观察、控制、执行和状态维护中的交互,以及两者如何互相评估和改进。

11月1日周日
  1. The Decoder42

    Google DeepMind 发布 StreamVibe 视频智能体以理解用户需求

    Google DeepMind 发布 StreamVibe 视频智能体,该模型基于 Qwen3.5-9B 并经过专门训练,能理解模糊请求并在适当时机提供帮助,在 ProactiveBench 上将响应时机和质量提升 10.7%,主动交互率提高 12.3%。测试显示其优于其他开源模型,但在长视频(>5分钟)中仍难以持续追踪变化指令,性能下降至基准的 38.5%。

10月30日周五
10月28日周三
  1. Hugging Face Daily Papers65

    CodeCap-Bench: 可执行代码能否作为优质视频字幕?

    CodeCap-Bench 通过比较代码字幕与自然语言字幕在视频问答和重建任务上的表现,证明代码字幕具有更优的推理准确性和重建保真度。该基准包含 323 个结构化 2D 内容视频,涵盖五个类别,评估发现主流闭源 MLLM 在代码字幕生成上虽表现良好,但难以捕捉复杂时序动态,开源模型差距显著。

  2. Hugging Face Daily Papers65

    LociArt:一种统一的自由风格局部视频风格化范式

    LociArt通过生成精炼网络、自动化数据集构建和专用基准实现精确的局部视频风格化,支持区域风格控制和时间一致性。GRNStyle在生成精炼网络基础上引入极性风格感知掩码,结合表示-几何条件化技术,实验表明其在区域风格质量和空间控制上优于现有方法。LociArt-100K数据集包含10万局部风格化对,基准包含80个源视频和84个目标掩码,采用风格原型相似度评估方案。

10月27日周二
  1. Hugging Face Daily Papers65

    AV-FABLE:长视频音频视觉篡改取证基准

    AV-FABLE 引入一个用于长视频稀疏篡改的音频视觉基准,表明冻结的音频视觉大语言模型的感知特征包含最佳通过分离时间解码器而非语言输出恢复的取证证据。长视频中的局部 AI 篡改通常影响其他内容真实的短暂事件,使视频级分类不足以进行取证分析。

  2. Hugging Face Daily Papers65

    StreamVibe: 主动视频智能体及其基准、模型与内存框架

    StreamVibe-Bench 发布包含 4.1K 评估样本和 85K 训练样本的基准,用于测试显式、隐式和动态用户意图交互;StreamVibe-VL 是一个流式主动视频语言模型,通过持续观察推断隐式意图并动态调整交互;StreamVibe-Harness 通过分层内存框架维持用户意图为持久状态,跟踪最新用户意图和环境状态,使主动交互响应一致性提升 12.3%;

10月26日周一
  1. Hugging Face Daily Papers65

    通过视频阅读、写作、分享和交互理解世界

    这篇综述将视频理解和生成统一于世界建模,围绕推断、合成、分享和交互潜在时间状态来组织进展,强调持续动态而非片段级感知。视频基础模型在理解和生成视觉序列方面迅速发展,而视频世界模型试图捕捉其描绘世界的底层动态。

10月23日周五
  1. Hugging Face Daily Papers65

    Factor-Aware Predictive Learning 发布:用于电影级视频生成的多模态大语言模型表示利用方法

    因子感知预测学习 (FAPL) 使视频扩散 Transformer 能够利用多模态大语言模型 (MLLM) 表示进行稀疏时间推理和电影级控制,通过分阶段接地和优化实现。FAPL 在三个电影级视频生成任务(稀疏到视频、因子感知编辑和多镜头生成)上始终优于基线,验证了其在 MLLM 特征使用、时间控制和因子协调方面的贡献。

  2. Hugging Face Daily Papers38

    OmniDR-Bench:视频中心深度研究报告生成基准评测

    研究人员推出 OmniDR-Bench 基准和评测框架,用于视频中心深度研究智能体,该智能体能合成外部证据生成与视频时刻关联的交互式报告。该任务具有直接实用价值,能帮助用户定位相关视频片段、验证声明、复现演示步骤。OmniDR-Bench 包含 50 个中英文任务,涵盖 19 个现实子类别,共 6,414 条标准,最佳系统得分为 63.3 分。

10月22日周四
  1. Hugging Face Daily Papers65

    StreamEval: 评估交互式流式视频生成模型的基准

    StreamEval 基准测试了交互式流式视频生成模型在五个任务上的表现,发现可靠的请求执行和持续的状态一致性仍是主要挑战。该基准包含 300 个脚本化测试用例,涵盖角色对话、角色表演、世界生成、指令编辑和参考编辑任务,通过四个评估维度(任务执行、状态一致性、视觉保真度和视听协调)进行评分。

9月25日周五
  1. Amazon Science

    Reactor与Amazon Neuron Science联合优化Rolling Forcing模型实现Trainium上实时视频生成

    Reactor与Amazon Neuron Science联合优化Rolling Forcing模型实现Trainium上实时视频生成,该模型结合了大型语言模型的序列预测与扩散模型的迭代优化,在16 FPS的标准视频帧率下运行,通过Rolling Forcing技术生成30秒高质量视频,并在Trainium上实现低延迟、高效率的实时视频生成。