如何评估 AI 智能体:超越感觉检查
评估 AI 智能体不能仅凭感觉检查,因为智能体可能陷入重试循环或产生幻觉回答却仍看似正常,导致云费用和 token 使用量激增。应建立可重复的评估流程,从定义关键用户旅程(CUJ)开始,使用模拟用户测试,并采用单元测试、确定性指标、LLM 作为裁判的评分标准和集成测试等多层检查。结合手动审查的跟踪记录与自动化验证,可在开发早期检测到隐性回归,并随着智能体能力增长扩展评估框架。
评估 AI 智能体不能仅凭感觉检查,因为智能体可能陷入重试循环或产生幻觉回答却仍看似正常,导致云费用和 token 使用量激增。应建立可重复的评估流程,从定义关键用户旅程(CUJ)开始,使用模拟用户测试,并采用单元测试、确定性指标、LLM 作为裁判的评分标准和集成测试等多层检查。结合手动审查的跟踪记录与自动化验证,可在开发早期检测到隐性回归,并随着智能体能力增长扩展评估框架。
vLLM v0.32.0rc1 发布更新依赖,移除 NVFP4 缩放工作绕过;该版本未明确提及参数规模、benchmark 分数、速度倍数、价格、上下文长度或可用性。
Claude Code 的云会话在云端虚拟机运行,支持离线持续、手机启动及并行处理。适用于 Pro、Max、Team 计划及企业高级或 Chat + Claude Code 座位用户,计入计划限制且无额外计算费用。
Mistral AI 发布 Timestral-28M 时间序列基础模型,含 2800 万参数,采用基于 patch 的 Transformer 架构,上下文长度达 32,768 时间步,单次前向预测范围 1024 时间步,在 GIFT-Eval、TIME 和 fev-bench 评测中实现零样本预测的最优精度,模型已开源并采用 Modified MIT 许可证。
LangChain Deep Agents 通过中间件管理上下文窗口,防止不必要信息进入并过滤已有内容。它采用卸载(将大工具结果和用户消息保存到文件)、摘要(压缩旧消息)、技能(按需加载)、子代理(分离噪声工作)和长期记忆(跨会话保存学习)等技术。这些技术通过在模型调用和工具调用等关键节点插入中间件实现,无需用户编写代码即可使用。
Mistral AI 发布 Timestral-5M 时间序列基础模型,5M 参数版本支持零样本预测,上下文长度达 32,768 时间步,单次前向预测可覆盖 1,024 时间步,输出 21 个分位数。在 GIFT-Eval、TIME 和 fev-bench 评测中,Timestral-209M 实现零样本预测最先进精度,所有 Timestral 模型在其参数规模下均优于其他模型。
Third Moment Research 运行 10,000 个智能体 36+ 小时,其 AI 实验室使用 GPT-6 Astra 和 GPT-6.1 Sol、Codex 及 Daybreak 模型构建专注于长期任务并随使用改进的智能体。
欧洲多个城市及软件、基础设施和集成合作伙伴正使用NVIDIA加速计算构建物理AI智能体和数字孪生系统,以优化城市运营决策。这些应用可预测维护需求、指导城市规划并提升公共服务响应能力,涉及比利时、芬兰、法国、意大利、荷兰、波兰、瑞典、英国等地。
Apple Machine Learning Research 首次从零开始预训练文本、图像-文本和音频-文本数据的三模态掩码扩散模型(MDM),分析多模态扩展规律。
Replit 推出解决方案合作伙伴计划,连接企业客户与系统集成商、咨询公司和机构,帮助客户识别 AI 机会、开发解决方案,并让团队高效使用 Replit;该计划为已有合作经验的解决方案伙伴提供更多支持,并为潜在伙伴提供 Replit 企业功能的认证路径。
IBM Research 使用开源智能体工厂优化量子纠错硬件,高级综合评估实现 52 倍加速,成本约 26 美元;同等预算下闭源前沿模型配置成本 299 美元(11.5 倍更高)但加速 204 倍,开源配置以更小面积实现硬件优化;该智能体工厂通过协调器分配任务给并行工作智能体,结合代码修改与硬件效果评估,探索多种架构可能性。
Jev 对每篇新闻回答三个问题筛选出真正重要的发展,You.com 节点搜索每日新闻并去重,You.com Research 为每个主题撰写简短摘要并通过 Slack 发布,整个流程成本低于四美分,有效避免无关信息干扰。
Origin 应用市场今日开放公测,集成 Cloudflare、Linear、Sentry 等 20+ 工具支持部署、CI/CD、代码审查、安全、监控和项目管理,团队可提交应用上架。
Gemini 4 Argon 在 11 小时内无人工干预运行中,通过分析 205,000 行代码的 ADK Python 仓库,提出了 6 项优化建议,最终 2 项被采纳并上线,将内存会话准备时间缩短约 40%,冷包导入速度提升 21%。该模型在优化过程中遵循了仓库的维护者指南,并运行了全部 16,892 个单元测试。
GitHub Copilot 可通过自定义指令、代理技能、自定义代理和模型上下文协议(MCP)服务器等方式,让用户向 Copilot 传达项目规则、封装可重复流程、提供专业指导以及连接外部工具,从而提升协作效率。自定义指令定义代码规范,代理技能封装重复性任务,自定义代理处理复杂工作,MCP 服务器扩展 Copilot 功能。
Claude Code v2.1.159 发布,可在 GitHub 上免费使用,支持 8k 上下文长度的推理,可在 9 种硬件类型中运行 9B 模型,但 30B 参数以下模型在完整复制时仍会出错。
Cognition 发布 FrontierCode 1.1 编码基准,评估 AI 模型代码是否足够高质量被开源维护者合并,不仅看测试通过率,还评估修改幅度、范围和文件关联性等行为。
Dwarf Fortress 开始使用版本控制,具体版本号未提及。
GitHub Actions 支持添加 Python 3.15.0 到测试矩阵,允许用户在 GitHub Actions 中运行针对新 Python 3.15.0 版本的测试。
Redwood Research 发布论文实证测试 AI 安全的两种蒸馏方法:用于定罪(DFI)和用于能力(DFC)。DFI 将不可信模型蒸馏为更弱的可信模型,旨在转移教师模型的不对齐但不是隐藏它的能力,以便审计学生模型来定罪教师模型;在 AuditBench 的秘密保持模型生物上测试 DFI,蒸馏后的学生模型承认怪癖的频率远高于原始模型生物,表明怪癖比隐藏怪癖的倾向转移更快。
研究人员预计 AI 将在数年内超越其在工作中的表现,但并非通用超级智能。模型的基础设施和工程能力将大幅加速,使实验和模型调整更易实现,但不会改变模型本质。AI 智能的有效成本预计将在未来几年呈指数级下降,需求将随行业对智能体定向和交付方式的探索而增加。
Baseten 与 Goodfire AI 合作推出 Project Beacon 项目,通过读取模型生成时的内部激活信息,在模型推理时实现主动式、内联式安全控制。
Anthropic 推出免费开源项目安全扫描服务 OSS Scanner,使用其最强模型(包括 Claude Mythos)提供漏洞报告,不收费但无人工审核,可能存在错误或无效报告。
NVIDIA Omniverse 结合前沿 AI 模型如 GPT-6 Astra 帮助开发者实现模拟应用,通过自然语言指令指导 AI 代理完成资产组装、物理连接和渲染检查。
使用 FastVideo 的 FastH3 V2 检查点,通过四步采样、稀疏注意力、小型文本编码器、小型检查点和融合 FP4 MLP 等优化,在单个 RTX 5090 GPU 上生成 15 秒 448×256 分辨率的视频,VRAM 需求从 80GB 降至 <30GB;该自定义 Comfy 节点已开源,可通过 Comfy API 请求 GPU 和模型进行部署。
AgentCore 支付让 AI 代理能按需付费,Incarna 用它让代理逐个请求向 BlockRun 付费获取模型推理,BlockRun 为 90 多个模型提供按需计费推理服务。AgentCore 支付通过托管钱包、原生协议处理、基础设施层支出治理和可审计结算,将添加 x402 支持的工作量从数月缩短至数天。
SpaceXAI 加入监督 Omarchy 的 Omacom 基金会并捐赠 150 万美元 Grok 代币支持 David Heinemeier Hansson 的 Linux 项目,后者是 Ruby on Rails 创始人。这些代币将用于加速开发、代码审查和修复错误。
Google AI Edge Foresight 应用可离线转录会议与音频文件,运行于 macOS 并使用 EmbeddingGemma 2 模型,用户可同步记录手写要点并生成整理笔记,文件、音频及笔记数据始终保留在本地设备。
AQuA 运行在生产代理旁边,通过五阶段流程(采样、审查、聚类、验证、跟踪)分析生产轨迹,将常见问题聚类并生成实际/预期发现,帮助团队持续监控和改进代理质量。它使用开发者编写的目标文件和自定义指标来指导审查过程,并支持与 Gemini 平台的 AutoRaters 集成。
Anthropic 推出可选漏洞发现服务 OSS Scanner,用 Claude Mythos 等大模型扫描开源代码,提供免费安全审计,但输出未经人工审核。该服务已向 48 个项目披露 97 个高危漏洞,其中 88% 符合 CVD 标准,收到 PostgreSQL、OpenSSL 等项目积极反馈。
Anthropic 使用 Claude Managed Agents (beta) 构建了一个 Agent 自动化参考实现,该实现按计划读取 Slack 和 GitHub 仓库等自定义来源,追踪自上次运行以来的变更,并将所需信息(例如发布到 Slack)进行发布。
AWS 提出自动化价值模型,重新定义智能体自动化商业案例。传统 RPA 投资回报模型忽略智能体自动化在异常处理、决策质量、流程适应性和价值实现方面的价值。企业需考虑释放工时的再部署价值或现金成本降低,以及异常修正成本,才能构建可信的商业案例。
OpenHands 9月发布,推出范围智能体、隔离运行时和持久化工作流功能。v1.17.0至v1.24.0版本中,Agent Profiles可控制智能体可用工具和密钥,自动化流程支持配置这些配置文件,Docker运行时为智能体提供隔离工作空间。v1.18.0至v1.21.0版本增强了自动化模板、Agent Profiles和Docker运行时的配置与隔离性,使智能体按需访问资源。
Mistral Large 4 是一个 1 万亿参数的原生多模态大语言模型,拥有 520 亿活跃参数,在编码、智能体工作流和多模态理解方面表现卓越,已达到全球最强开源模型的水平,并在网络安全、金融和法律等关键企业工作负载中表现领先。该模型将于本月末开源,目前可通过 Mistral Studio 的公测 API 体验。
Cursor iOS 应用现支持查看和回复用户电脑上运行的本地智能体,默认开启(企业组织除外)。用户下载应用登录后,其账户电脑自动显示,经桌面端应用配对授权即可远程管理。远程控制仅连接智能体,不移动其运行位置,需保持电脑开机联网。
Google 研究发布新报告《开放与涌现的智能体隐私与安全问题:语境视角》,分析自主智能体面临的基础隐私与安全挑战,需系统、模型、用户及生态层面协同防御。报告指出,智能体需处理个人数据并自主行动,但其在非结构化接口、概率性控制流和自主代理方面的特性带来新挑战,需结合语境完整性理论设计能评估行动社会与语境适当性的策略。
Toby Ord 分析认为,AI 群体扩展因并行处理能加速任务完成,但增加 10 倍智能体仅提升 3-5 倍性能,存在类似人类团队协作的“踩踏效应”;美国 61% 的民众不信任企业 AI 自律监管。
OpenRouter 推出 openrouter:shell 和 openrouter:bash 工具,支持在服务器端沙盒中执行模型命令,适用于任何模型,目前处于 Beta 测试阶段。
Prime Inference 发布,为前沿开源模型提供快速可靠的推理服务,支持无服务器端点和保留容量,在多个数据中心使用 GPU 基础设施运行模型。其首个公共部署 GLM-5.3 于 9 月 22 日在 OpenRouter 上上线,目前是 OpenRouter 上最快的 GLM-5.3 端点之一,具有零工具调用错误率和 100% 的正常运行时间。
Qwen2.5-1.5B 在 MATH 基准上通过 1000 倍单梯度步长扩展达到 500 步强化学习模型的 66.7% 准确率(63.8%),主要改进来自修复基础模型循环输出问题,但在分布外任务(如函数调用、Knights & Knaves)效果减弱。