跳到正文
实时
#多模态
10月29日周四
10月28日周三
  3. Hugging Face Daily Papers

    分解矢量量化技术提升离散视觉token质量

    分解矢量量化技术通过在互补特征视图上使用并行码本提升了离散视觉token质量，使其在多模态理解中能匹配连续表示，在工业级多模态数据上训练的模型在九项指标平均上比 UniAR 和 Emu3-Chat 分别高 22.8% 和 59.2%，是目前首个能与 Qwen3-VL 等强连续表示模型竞争的离散表示模型。

  4. MarkTechPost77

    Google DeepMind 发布 Genie 4 实时世界模型，原生生成音频

    Google DeepMind 发布研究预览版 Genie 4，可从文本和图像提示实时生成可探索世界，并原生生成环境音、音乐和角色对话。该模型在仿真循环中引入 Gemini 作为规划器，由 Gemini 3.8 Flash 拆解目标、检查帧并重新规划，Gemini Omni 负责锚定世界的外观与行为。

    同一件事 · 7 家

    各家口径不同：The Verge 表示模型支持长达两分钟的场景，而 Ars Technica 和 TechCrunch 提到物理和人物模拟的改进，但没有具体说明场景时长。

  7. 量子位

    蚂蚁百灵开源 Ling-3.1-flash-1019，助力 Personal Agent 走向真实任务

    蚂蚁集团旗下百灵大模型开源 Ling-3.1-flash-1019，在智能指数 AA-Briefcase 中得分 1524 Elo，较上一版本提升 3 分；基础模型 Ling-3.1-flash-base 采用混合线性 MoE 架构。

    同一件事 · 2 家
  8. Hugging Face Daily Papers65

    CodeCap-Bench: 可执行代码能否作为优质视频字幕？

    CodeCap-Bench 通过比较代码字幕与自然语言字幕在视频问答和重建任务上的表现，证明代码字幕具有更优的推理准确性和重建保真度。该基准包含 323 个结构化 2D 内容视频，涵盖五个类别，评估发现主流闭源 MLLM 在代码字幕生成上虽表现良好，但难以捕捉复杂时序动态，开源模型差距显著。

  10. Hugging Face Daily Papers65

    ThinkWorld模型通过世界想象强化动态推理能力

    ThinkWorld模型通过将动作表示为动态链并利用世界想象从无标注人类视频中学习，提升了机器人泛化能力。该VLA框架将每个动作推理表示为动态推理链（CoD），通过强化学习与世界想象结合强化推理，使无标注视频能提供状态转换的直接监督，实现人类与机器人经验的共同推理空间。实验证明其在仿真和真实机器人上有效实现人机迁移并泛化到未见任务和环境。

  11. Hugging Face Daily Papers

    ChronoReplay 训练框架提升流式视觉语言模型的时空推理能力

    ChronoReplay训练框架通过将异构时空监督组织成按时间排序的交互片段、保留特定任务答案格式、平衡不同监督信号学习，使单一模型能学习互补时空能力并保持时间一致性，在 OVO-S-Bench、OST-Bench 和 UCS-Bench 基准测试中均取得提升，OST-Bench 提高 13.41 分，同时通过自适应帧选择优化流式推理性能。

  12. Hugging Face Daily Papers

    Hy-Nomas：面向自由形式交互式世界生成的视频世界模型

    Hy-Nomas 是一个 8B 参数的扩散模型，支持自由形式文本指令和跨多轮交互的相机控制，通过因果注意力与结构化视频描述相结合的方式遵循多轮文本和相机指令，在人类评估中优于现有世界模型，已开源模型权重、代码和基准。

    同一件事 · 2 家
  13. IT之家 · AI82

    谷歌 DeepMind 发布 Genie 4 世界模型，支持实时自然语言改写与原生音频

    谷歌DeepMind于10月27日发布Genie 4世界模型，定位为重大研究里程碑，用户可用自然语言指令实时改变天气、镜头、角色和物体，而非重新生成一段视频。

    同一件事 · 7 家

    各家口径不同：The Verge 表示模型支持长达两分钟的场景，而 Ars Technica 和 TechCrunch 提到物理和人物模拟的改进，但没有具体说明场景时长。

  14. IT之家 · AI77

    谷歌 DeepMind 推出世界模型 Genie 4，支持音视频同步生成与实时编辑

    谷歌 DeepMind 推出世界模型 Genie 4，目前处于研究预览阶段，可生成可交互虚拟世界并在运行中输入提示词修改场景，还能生成与画面同步的实时音频。相比前代 Genie 3，Genie 4 画面拟真度提升，支持实时调整天气、镜头角度和增删人物物体，最长维持两分钟连贯场景，为前代的两倍。

    同一件事 · 7 家

    各家口径不同：The Verge 表示模型支持长达两分钟的场景，而 Ars Technica 和 TechCrunch 提到物理和人物模拟的改进，但没有具体说明场景时长。

  15. MarkTechPost71

    Liquid AI 发布 LFM3：6 个 2B 级开源多模态模型

    据 Hugging Face 博客和 MarkTechPost，每个模型均可在单张 GPU 上微调；文本模型 LFM3-1.7B 为 1.73B 参数、256K 上下文窗口，4-bit 量化下约 1 GB 内存即可运行，可部署在手机、笔记本、私有服务器或云端。MarkTechPost 称免费商用上限为年营收 1000 万美元，完整 128K 上下文需 1.6 GB KV 缓存。IT之家称 LFM-1.7B 参数比上代 LFM2.5-2.6B 减少 35%，性能却更优。

    同一件事 · 2 家

    推荐理由: 6 个 2B 级开源模型共享同一骨干，并给出与 Qwen3.5-9B 等竞品的逐项对比，可据此判断小模型在端侧与智能体任务上的位置。

  17. 量子位

    印奇把4D雷达也端到端了

    千里科技推出AI 4D毫米波雷达，内置10 TOPS NPU，支持本地AI感知与卫星架构并行输出，实现从天线设计到点云输出的端到端AI处理。该雷达点云密度增强10倍，探测距离提升40%，鬼影消除率达95%，空间角分辨力提升12倍，提供边缘侧、卫星架构及兼容三种工作模式，以适应不同功能等级和平台需求。

  18. The Decoder

    DeepMind Genie 4 发布：现代智能体设计的前沿探索

    DeepMind 发布 Genie 4，这是公司首个能实时生成声音的即时世界模型，用户可通过键盘移动场景、用文本提示引导事件。Genie 4 基于视频模型 Gemini Omni 构建，由 Gemini 大模型族在后台规划模拟进程，支持背景音效、角色对话及实时交互。目前仅限选定测试者体验，未来将向 Google AI Ultra 订阅者开放，并集成 SynthID 水印标记 AI 生成内容。

    同一件事 · 7 家

    各家口径不同：The Verge 表示模型支持长达两分钟的场景，而 Ars Technica 和 TechCrunch 提到物理和人物模拟的改进，但没有具体说明场景时长。

  20. The Verge · AI

    Google Genie 4 世界模型发布：支持更逼真交互体验

    Google 发布 Genie 4 世界模型，支持生成更逼真交互体验。该模型采用 Gemini 3.8 Flash 架构，可实时通过自然语言更新体验、生成音频，并支持长达两分钟的场景（较 Genie 3 的一分钟提升）。

    同一件事 · 7 家

    各家口径不同：The Verge 表示模型支持长达两分钟的场景，而 Ars Technica 和 TechCrunch 提到物理和人物模拟的改进，但没有具体说明场景时长。

  21. Hugging Face Blog76

    Liquid AI 发布 LFM3 系列：同一 2B 骨干派生文本、视觉、音频、全模态与决策模型

    Liquid AI 发布 LFM3 新一代 Liquid Foundation Models，以 LFM3-1.7B-Base 为共享骨干派生六个 2B 级模型，覆盖文本、视觉、音频、全模态和决策，全部在 Hugging Face 开放权重。

    推荐理由: Liquid AI 用同一 2B 级骨干派生六个模态模型，并给出单卡微调与端侧部署路径，可据此判断小模型专用化路线。

  24. Ars Technica · AI78

    DeepMind 发布 Genie 4 世界模型，称物理与人物模拟更真实

    Google DeepMind 公布 Genie 4 世界模型，称其在几乎各个方面都优于 Genie 3，模拟的物理效果和人物更真实，部分改进来自 Google 更新的 Gemini 模型。

    同一件事 · 7 家

    各家口径不同：The Verge 表示模型支持长达两分钟的场景，而 Ars Technica 和 TechCrunch 提到物理和人物模拟的改进，但没有具体说明场景时长。

  26. TechCrunch · AI72

    Google DeepMind 发布 Genie 4 世界模型，新增音频与实时编辑

    Google DeepMind 以研究预览形式发布世界模型 Genie 4，可生成照片级真实且可交互的场景，并支持在模拟过程中输入提示词实时改变天气、镜头角度或添加人物物体。

    同一件事 · 7 家

    各家口径不同：The Verge 表示模型支持长达两分钟的场景，而 Ars Technica 和 TechCrunch 提到物理和人物模拟的改进，但没有具体说明场景时长。

  27. Google DeepMind84

    Google DeepMind 发布世界模型 Genie 4

    Google DeepMind 发布世界模型 Genie 4，可实时生成带原生音频的交互式模拟世界，并以文本提示实时改变天气、镜头和场景元素。Genie 4 首次原生生成环境音与人声对话，角色可实时对话并响应场景事件；Gemini 3.8 Flash 在循环中充当引导智能体，把目标拆成步骤并逐帧校验。

    同一件事 · 7 家

    各家口径不同：The Verge 表示模型支持长达两分钟的场景，而 Ars Technica 和 TechCrunch 提到物理和人物模拟的改进，但没有具体说明场景时长。

    推荐理由: 官方披露了原生音频、实时文本操控与 Gemini 引导推理三项能力，可据此判断世界模型在机器人与内容预演中的位置。

10月27日周二
  3. NVIDIA Technical Blog65

    NVIDIA DGX Spark 上提升 MoE 推理性能的 3 种方法

    Inclusion AI 在 NVIDIA DGX Spark 上对 Ling-3.0-flash 进行批大小 1 评估时发现解码是内存限制因素，其中 MoE 计算和输出层投影导致执行时间增加。MoE 计算和输出层投影是瓶颈。

    同一件事 · 2 家

    各家口径不同：NVIDIA技术博客指出解码是内存瓶颈，由于MoE计算和输出层投影，而MarkTechPost强调了由于新的MoE后端、FP8输出层和推测解码导致的42.5%吞吐量提升和3.5倍速度提升。

  4. Hugging Face Daily Papers65

    AV-FABLE：长视频音频视觉篡改取证基准

    AV-FABLE 引入一个用于长视频稀疏篡改的音频视觉基准，表明冻结的音频视觉大语言模型的感知特征包含最佳通过分离时间解码器而非语言输出恢复的取证证据。长视频中的局部 AI 篡改通常影响其他内容真实的短暂事件，使视频级分类不足以进行取证分析。

  6. 蚂蚁 inclusionAI · Hugging Face 新模型58

    inclusionAI/Ling-3.1-flash-1019 发布：560B 参数大语言模型推理能力提升

    inclusionAI/Ling-3.1-flash-1019 发布，560B 参数量，25B 活跃参数/Token，1M 上下文窗口，推理能力提升，AA-Briefcase 分数 1524 Elo，AutomationBench-AA 68%，Artificial Analysis Intelligence Index v4.3.2 44 分。支持 SGLang 和 vLLM 推理。

    同一件事 · 2 家