Nvidia 开源机器人视频标注引擎 Flora，称成本比 GPT-6 Astra 低 125 倍

用 72 美分标注一小时机器人视频，而不是 88 美元，这就是英伟达通过其开放数据引擎 Flora 承诺的。

用于机器人的大型 AI 模型需要从需要文本标注的视频中学习，根据英伟达 GEAR 研究实验室的说法，这需要三种类型的标签。首先，用于选择训练数据的视频中动作的描述。其次，用于让机器人通过试错学习的逐步进展的评分。第三，用于在部署期间监控机器人的任务是否成功完成的判断。大多数现有工具只提供这三种类型中的一种。像 GPT-6 Astra 这样的大型语言模型可以生成几种，但它们对于涉及的巨大视频量来说太贵了。

alt: Overview graphic of Flora's five capabilities, including a robot stacking cups into a pyramid, a timeline with segments A through G, example captions, and examples of outcome, process, and rubric rewards. — Flora 将视频分解为时间段，描述每个动作，并评估一个片段的执行和结果。 | 图片：英伟达

根据论文，Flora 涵盖了所有三种类型。英伟达表示，该系统已经在其 GR00T 模型的训练期间运行，每天在 512 GB300 GPU 上标注高达 20 万小时的视频。这些模型可以在 Hugging Face 上获得。

Flora 由三个微调的 Qwen3.5 模型组成。一个 9B 模型将视频分解为动作片段，而一个 27B 模型在考虑每个动作之前和之后发生了什么的同时描述它们。一个名为 Flora-Rewarder 的第二个 27B 模型根据提示承担三个角色。它在 1 到 5 的范围内对片段的成功进行评分，将每个半秒步骤分类为正常、次优或失败，并根据自我定义的评分标准分配分数。

alt: Diagram of the Flora pipeline showing an episode video branching into timestamped captions via overlapping windows and into reward labels with dense, outcome, and rubric scores. — 一个分割模型和一个标题模型产生带时间戳的描述，而一个单一的奖励模型生成所有三种类型的评分。 | 图片：英伟达

根据英伟达的估计，成本高达 125 倍

在 50 个视频的测试中，根据英伟达的说法，Flora 的得分略好于 GPT-6 Astra，即使 OpenAI 的模型被允许使用其全部推理能力。根据英伟达的估计，使用 Flora 标注一小时视频的成本约为 72 美分，而使用 GPT-6 Astra 大约需要 88.50 美元。 Claude Opus 5 在同一测试中的得分要差得多，但仍需花费大约每小时 42 美元。

alt: Scatter plot comparing annotation quality in percent against cost per source video hour in US dollars on a logarithmic scale, with Flora in the upper left ahead of GPT-6 Astra, Claude Opus 5, Gemini, and other models. — 根据英伟达的说法，Flora 在每视频小时 0.72 美元的成本下达到了 57.1% 的标注质量，而 GPT-6 Astra 在 88.49 美元的成本下达到了 53.7%。 | 图片：英伟达

然而，Flora 的成本数据是预测值，而不是生产测量值。英伟达根据每 GPU 每小时 10 美元的假设租赁价格计算了这些数据。

Flora 更好地识别动作，但 Astra 通常更精确地描述它们

在公共 WGO-Bench 上，Flora 在检测动作边界方面表现最佳，但在总分上落后于 Astra，并且在纯描述准确性方面落后于 Gemini 3.8 Flash。根据研究人员的说法，这些收益主要来自时间定位。

在英伟达自己的 DenseCaptionBench 上，Flora 在人类录制方面在所有指标上都领先，但对于机器人视频，该模型的排名仅次于 Astra。研究人员也承认存在一个方法论上的问题。GPT-6 Astra 在评估描述的同时也是测试模型之一。

alt: Six bar charts comparing Flora with GPT-6 Astra, GPT-5.6 Sol, Gemini 3.8 Flash, and Kimi K3 on timestamped captions and reward annotations. — Flora 在人类录制、结果评分和逐步评分方面领先，而 GPT-6 Astra 在 WGO-Bench、机器人视频和评分标准评分方面获胜。 | 图片：英伟达

几乎没有任何其他模型能够捕捉到中片段的错误

在 RoboRewardBench 上，Flora 的错误率比 Astra 低 27.8 个百分点。论文将差距归因于部分完成的任务。当机器人只是把瓶子打翻而不是打落桌子时，Flora 给出 5 分中的 3 分来匹配人类参考，而 Astra 只给 1 分。

Flora-Rewarder 在一个回合中捕捉到 53.3% 的失败步骤，而没有任何竞争对手超过 11.7%，Astra 一个也没捕捉到。权衡的是 Flora 将大约 11% 的正常步骤错误地标记为错误。Astra 仍在基于标准的评分和轨迹排名方面领先。

在一个包含许多短手势的视频中，Flora 识别出 37 个动作中的 34 个，而 Astra 只捕捉到四个。另一方面，Flora 有时会将较长的动作分割成过多的步骤，并且偶尔描述错误。在一个视频中，一个机器人手用布擦盘子，但 Flora 描述为折叠餐巾。

alt: Comparison of Flora and GPT-6 Astra with timelines of detected actions, video stills of hands wiring and passing tea leaves, and examples of a failed toy airplane assembly and a tipped bottle. — 在一个示例回合中，Flora 识别出 37 个参考动作中的 34 个，而 GPT-6 Astra 只捕捉到四个。| 图片：Nvidia

Nvidia 将 Flora 定位为商业服务（如 Scale AI 的 Physical AI Data Engine）的一个开放替代品。研究人员可以使用它来扩展自己的机器人数据集并测试将人类演示转移到机器人的方法。Nvidia 正在投资数十亿美元于开放 AI 模型，以保持开发者在其硬件生态系统中的参与并推动对其芯片的需求，而 Flora 实现了同样的目标。

该公司已经一段时间在努力通过模拟和自动化数据处理来弥补机器人训练数据的短缺。在今年早些时候的 GTC 上，Nvidia 展示了一个数据管道，可以自动准备、复制和评分训练材料。Flora 为该管道添加了来自视频的详细标签和奖励信号。

所有这些都有助于 Nvidia 覆盖整个机器人价值链的战略，从硬件和训练数据到模拟以及 AI 模型本身。Google 最近宣布的 Gemini 4 Argon 目标于机器人训练过程的类似部分，也在训练视频中识别工作步骤并标记失败动作。