实时
同一模型换 harness:CUGA 通过率 81% 领先
热点事件历史事件
同一模型换 harness:CUGA 通过率 81% 领先
1 篇报道1 个报道来源15 天前更新
先了解这件事
AI 综述
IBM团队使用同一个开源权重模型GLM-5.3-flash,在AppWorld的90个任务上对比CUGA、Hermes和Deep Agents三种harness,任务通过率分别为81.1%、46.7%和30.0%;三变体全部通过的场景数分别为20、8、2。 该团队称,仅更换harness就把任务完成率从30%提升到81%。但该对比由CUGA团队自己执行,且CUGA使用了其他harness没有的AppWorld配置,三种设置并不完全相同。 结果仅基于单一基准上的90个任务样本,未必能推广到其他任务;这些运行未使用策略,因此不衡量策略执行情况。
AI 根据报道生成 · 更新于 15 天前
最新进展11月3日 23:57
同一模型换harness:CUGA、Hermes与Deep Agents在AppWorld上的对比报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- Hugging Face Blog精选同一模型换harness:CUGA、Hermes与Deep Agents在AppWorld上的对比
IBM团队使用同一个开源权重模型GLM-5.3-flash在AppWorld的90个任务上对比CUGA、Hermes和Deep Agents,任务通过率分别为81.1%、46.7%和30.0%,三变体全部通过的场景数为20、8、2。