跳到正文
实时
热点事件历史事件

HABIT-Bench 发布

1 篇报道1 个报道来源22 天前更新

先了解这件事

AI 综述

LUMIA-Group 发布了 HABIT-Bench,用于评估智能体从纵向弱证据中习得习惯的能力。该基准要求智能体整合零散证据并选择新请求的适当行动,使用 Qwen3-235B-A22B 和 GLM-5.3-Flash 评估八种记忆方法,最佳配置在四选任务中达到 33.61% 宏平均准确率,优于随机猜测的 25%。即使提供标注证据,仍存在大量错误,表明理解应如何指导决策比单纯回忆历史更重要。 HABIT-Bench 包含代码和数据集,分别可在 https://github.com/LUMIA-Group/habit-bench 和 https://huggingface.co/datasets/hollyming/HABIT-Bench 获取。该基准用于评估智能体在食品、金融、软件和旅行领域的习惯学习能力。

AI 根据报道生成 · 更新于 22 天前

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. Hugging Face Daily Papers
    HABIT-Bench 发布:评估智能体从纵向弱证据中习得习惯的能力

    HABIT-Bench 评估智能体从数百次会话的合成用户历史中习得习惯的能力,要求智能体整合零散证据并选择新请求的适当行动。使用 Qwen3-235B-A22B 和 GLM-5.3-Flash 评估八种记忆方法,最佳配置在四选任务中达到 33.61% 宏平均准确率,优于随机猜测的 25%。即使提供标注证据,仍存在大量错误,表明理解应如何指导决策比单纯回忆历史更重要。