跳到正文
实时
热点事件历史事件

StateBench 测试语言模型追踪状态变化

1 篇报道1 个报道来源15 天前更新

先了解这件事

AI 综述

Hugging Face 推出了 StateBench 基准,用于测试语言模型追踪长文档中状态变化的性能。该基准包含四个难度等级,从简单的不可变赋值到复杂的依赖赋值,发现循环和混合模型在直接训练任务上泛化能力更强,但前沿模型如 Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol 在长输入的复杂状态追踪中仍会失效。

AI 根据报道生成 · 更新于 15 天前

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. Hugging Face Blog
    StateBench: 测试语言模型如何追踪长文档中的状态变化

    StateBench 是一个长上下文状态追踪基准,测试语言模型如何保持追踪长文档中实体信息的变化。该基准包含四个难度等级,从简单的不可变赋值到复杂的依赖赋值,发现循环和混合模型比 Transformer 在直接训练任务上泛化能力更强,但前沿模型如 Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol 在长输入的复杂状态追踪中仍会失效。