实时
HABIT-Bench 发布
热点事件历史事件
HABIT-Bench 发布
1 篇报道1 个报道来源22 天前更新
先了解这件事
AI 综述
LUMIA-Group 发布了 HABIT-Bench,用于评估智能体从纵向弱证据中习得习惯的能力。该基准要求智能体整合零散证据并选择新请求的适当行动,使用 Qwen3-235B-A22B 和 GLM-5.3-Flash 评估八种记忆方法,最佳配置在四选任务中达到 33.61% 宏平均准确率,优于随机猜测的 25%。即使提供标注证据,仍存在大量错误,表明理解应如何指导决策比单纯回忆历史更重要。 HABIT-Bench 包含代码和数据集,分别可在 https://github.com/LUMIA-Group/habit-bench 和 https://huggingface.co/datasets/hollyming/HABIT-Bench 获取。该基准用于评估智能体在食品、金融、软件和旅行领域的习惯学习能力。
AI 根据报道生成 · 更新于 22 天前
最新进展10月28日 08:00
HABIT-Bench 发布:评估智能体从纵向弱证据中习得习惯的能力报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- Hugging Face Daily PapersHABIT-Bench 发布:评估智能体从纵向弱证据中习得习惯的能力
HABIT-Bench 评估智能体从数百次会话的合成用户历史中习得习惯的能力,要求智能体整合零散证据并选择新请求的适当行动。使用 Qwen3-235B-A22B 和 GLM-5.3-Flash 评估八种记忆方法,最佳配置在四选任务中达到 33.61% 宏平均准确率,优于随机猜测的 25%。即使提供标注证据,仍存在大量错误,表明理解应如何指导决策比单纯回忆历史更重要。