实时
StateBench 测试语言模型追踪状态变化
热点事件历史事件
StateBench 测试语言模型追踪状态变化
1 篇报道1 个报道来源15 天前更新
先了解这件事
AI 综述
Hugging Face 推出了 StateBench 基准,用于测试语言模型追踪长文档中状态变化的性能。该基准包含四个难度等级,从简单的不可变赋值到复杂的依赖赋值,发现循环和混合模型在直接训练任务上泛化能力更强,但前沿模型如 Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol 在长输入的复杂状态追踪中仍会失效。
AI 根据报道生成 · 更新于 15 天前
最新进展11月4日 01:15
StateBench: 测试语言模型如何追踪长文档中的状态变化报道时间线
沿着报道,了解事件的不同侧面。
11月4日
- Hugging Face BlogStateBench: 测试语言模型如何追踪长文档中的状态变化
StateBench 是一个长上下文状态追踪基准,测试语言模型如何保持追踪长文档中实体信息的变化。该基准包含四个难度等级,从简单的不可变赋值到复杂的依赖赋值,发现循环和混合模型比 Transformer 在直接训练任务上泛化能力更强,但前沿模型如 Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol 在长输入的复杂状态追踪中仍会失效。