XYBench:解决提问背后问题的基准测试
XYBench 发布,包含 8K+ 问题测试 AI 助手如何应对基于误解的请求;Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 在测试中常聚焦原错误方法而非用户实际目标。
XYBench 发布,包含 8K+ 问题测试 AI 助手如何应对基于误解的请求;Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 在测试中常聚焦原错误方法而非用户实际目标。
Gemini 4 Argon 将 Go 代码的 panic 路径转化为 Z3 约束规则,配合 Z3 检查触发条件,配合 go test 重放触发字节,在 1 分钟内定位 3 个植入的解析器 Bug 并发现 3 个 skill-lint 潜在 Bug。该流程比 go test -fuzz 更高效,能找到模糊测试遗漏的边界检查错误。
Helion 通过编译时启发式算法分析内核 IR 和数据流,无需慢速自动调优即可选择快速设置,将内核分类为矩阵乘法、归约或逐点操作,并选择块大小、warp 和阶段,实现近乎自动调优的速度。
EUROPA联盟在JUPITER超级计算机上使用PyTorch和TorchTitan成功训练了参数量达951.9B的MoE模型,将单GPU的吞吐量从90提升至约1,300 tokens/s,使用了384个NVIDIA GH200 GPU。
Embodied First Exam 发布,包含 35 套、47 个机器人上的 1,156 个任务,评估编码智能体在物理世界约束下的控制能力,GPT-6 Astra in Codex 在标准设置下 456 个核心任务中成功率 34%。
在 OpenRouter 上运行相同任务,对比 GPT-6.1 Sol 在 60 项合成任务中通过 180/180 次测试,DeepSeek 成本最低通过 157/180 次,但与公开排名相关性低(Spearman 相关系数 0.109)。需检查任务重复次数、答案数量和账单验证。
Hugging Face 博客介绍了多向量嵌入模型的 Token Pooling 感知训练方法,通过 HierarchicalTokenPooling 将相似 token 嵌入合并以压缩存储。
inclusionAI 发布了 ZoomGain-4B 大语言模型,在 ZoomGainBench 上取得 61.08 分,并在多个细粒度感知和通用感知基准测试中表现优异;模型基于从全局图像细节中挖掘的全局到局部视觉感知差距构建监督,支持英文和中文问答,可通过 Hugging Face 下载。
挪威奥斯陆业余无线电小组通过地面无线电发送语音指令,成功让 OPS-SAT PRETTY 卫星启动《毁灭战士》游戏,创全球首次通过无线电链路让卫星自主识别并执行口头指令的纪录。团队利用可更新的软件和软件无线电设备为卫星增加语音控制能力,使用约 27MB AI 语音识别模型将声音转为文字并检测指令,实验重点在于让卫星自主分析无线电信号并采取行动。
Infrathon 对六种模型进行了 150 次长时程 AI 基础设施优化任务评估,总耗 10,000 GPU 小时,发现模型排名随评估时程变化,135 次任务在预算后半段实现进一步优化,且 Claude Opus 5.5 将 KV 缓存压缩率从 6.82% 提升至 19.86%,超出人类设计基线。分析显示任务违规、测试不可靠和过早完成是持续优化的主要障碍。
GitHub MCP 服务器为 Claude Sonnet 5.5 的每个请求增加了 19,436 个输入 token,远超 CLI(1,421)和技能(3,315)。
在 OpenRouter 上测试,fp8、fp4 与 fp16 在 240 个评分任务中未发现精度差异,所有六种端点得分在 98.3% 至 99.2% 之间。低精度通常更便宜,但 fp8 比 fp16 更贵的情况有 7 模型,4-bit 比 8-bit 更贵的情况有 7 模型。fp4 端点在 40 个无工作流乘法任务中表现最差,但差距可能由偶然性导致。
WorldFoundry 提供开源基础设施,用于可复现地推理和评估跨视频、3D/4D、具身行动和交互系统的生成世界模型,包含可追溯证据和基准,收录 270 个模型条目、74 个基准和 62 个注册指标。
CrossnoKaye 通过其 ATLAS 平台和 AURA 智能体,在 Amazon Bedrock AgentCore 上实现工业物理 AI,将生产提效 11-17% 并降低能耗 21%。AURA 利用 AgentCore 的代码解释器能力,在隔离微 VM 中运行 Python 工作负载以验证数值计算,同时通过边缘集群和云优化系统实现闭环控制。
Drex 开源决策模型返回用户选项的概率分布,无需自回归解码,采用监督微调、RLAF 和一致性损失提升准确率、鲁棒性和延迟性,其 35B 参数的 Max 版本在 Decision Index 0.4.1 上达到 67.52 分的行业最佳成绩,且响应时间仅为 GPT-6 Sol 的 9% 和 Claude Opus 5.5 的 5%。
SLA 模型通过持续预训练和后训练,将预训练的 VLA 策略与冻结的 3D 感知模型进行空间对齐,使用特征依赖门控和概率状态 dropout 提升跨不同机器人数据的空间理解能力,同时保留推理架构。
StreamDuo将一个可训练解说员与一个冻结的研究智能体配对,该研究智能体检索游戏维基条目,以在不针对目标游戏进行训练的情况下提高跨游戏直播解说。StreamDuo在 Baldur's Gate 3 上训练并在十个未见过的新游戏中测试,将实体召回率从 0.082 提高到 0.116,将源游戏泄露率从 9.9% 降低到 1.0%,并在直播模型中实现了最佳时机、最高的评判活力和总体质量。
Common Fabric 的 CEO Alex Komoroske 在与 Tim O’Reilly 的对话中阐述了其共鸣计算宣言的核心理念,该宣言提出五项原则:私有、专注、多元、适应和利他,旨在创造能滋养而非消耗用户的科技体验。
Agile Deliberation 框架通过迭代对话协助人类定义主观概念边界,将模糊想法转化为精确的 AI 指令蓝图。该框架分为概念界定和概念迭代两阶段,通过直接反馈处理模糊图像,在 18 次 1.5 小时用户实验中显著降低用户疲劳和焦虑,使 AI 模型性能优于标准基线。
ToolSpace 通过挖掘真实 MCP 服务和开放智能体语料库中的执行轨迹,以确定性规则而非 LLM 判断,聚类加权工具组合图形成环境,应用于 AutomationBench 和 tau3-Bench Banking 产生更难的 Pro 版本。
使用 EDB Postgres AI 在 Amazon Bedrock AgentCore 上运行 Strands Agents,通过查询语义层回答客户 360 (C360) 问题。
研究表明视频世界模型的潜在预测误差反映外观和运动而非可靠测量物理意外。在IntPhys2基准上,潜在预测、掩码像素重建和简单视觉统计的比较显示,外观易于解码,V-JEPA2仅略微揭示事件是否可能。
OSWAM 通过使用结构化想象标记初始化扩散过程,并将未来条件特权信息蒸馏到单个去噪步骤中,实现了自动驾驶和具身控制中的实时高质量行动生成。该模型仅需一步扩散即可生成高质量行动,比需要数十步的去噪过程直接策略世界行动模型(WAM)快约 3 倍,在 NVIDIA RTX 5090 GPU 上实现低至 40ms 的延迟,支持实时编译推理。
研究人员使用50个GPT-6.1 Sol智能体在《我的世界》中搭建文明群落,因官僚化倾向未能发展壮大;10个GPT-6.1 Sol对阵10个Claude Opus 5.5的起床战争测试中,GPT智能体策略更激进,完成问题诊断并共享解决方案;七局Mindustry对战中GPT智能体六胜一负,体现蜂群模式优势。
Wizard解耦角色动画、场景操控和游戏逻辑与视觉生成,通过结构化视觉代理让智能体控制关节骨骼和场景几何,实现24 FPS的实时交互,零样本泛化到未见场景、角色和动作。团队构建了50.3小时对齐的代理-视频对,包含750场景和178个角色,支持角色自适应遮罩、因果适应和少步蒸馏技术。
研究提出通过让轻量级预测器 System-1 在执行前评估候选交互,可降低资源密集型执行器 System-2 的执行成本,理想情况下执行计算量可减少至 1/ρ_u 倍(ρ_u 为效用相关交互密度),该协同设计方法适用于训练、推理、决策和智能体工具使用等场景。
O'Reilly Media CTO Andrew Odewahn 的研究智能体通过映射组织信息系统、连接 MCP 并赋予技能文件,结合 Expert Intelligence 层级分析。
WorkFactory通过信息规划与修复构建连贯的专业任务,产出WorkPilot模型,在专业工作基准测试中提升专家级智能体表现。该框架从专业意图出发,构建信息支持图指导任务实例化,并通过探测执行识别支持失败并指导修复,同时保留预期工作。
逐际动力发布 FluxVLA Engine V2 技术报告,通过统一配置、模块解耦和系统优化,实现模型训练、评测与部署全链路复用,支持14种主流策略接入,推理路径频率提升2.31–9.64倍,在ALOHA、双臂Franka等6款真机验证闭环执行,在线强化学习使SmolVLA成功率提升10.0–15.4个百分点。
EmbeddingGemma 2 是一个开源的多模态嵌入模型,将文本、图像、音频和视频表示统一在高效且资源灵活的设计中,并在基准测试中表现优异。它在所有模态的嵌入基准测试中建立了新的帕累托前沿,优于专业模型和规模大两到十二倍的其他模型。该模型支持选择性模态编码器加载、可调节的视觉标记预算、可截断的嵌入维度和量化权重,以适应资源受限的环境。
Multiscale Policy Optimization (MPO) 通过在回合尺度上对齐信用分配和政策更新来改进长时程 LLM 智能体训练。在搜索、工具使用和自动化任务上使用 4B 和 30B-A3B 模型的实验表明,MPO 比强 RL 基线有持续提升。
Exowatt 通过 Amazon SageMaker AI serverless 模型定制,为边缘和云部署目标生成了任务特定微调模型 Qwen3-1.7B 和 Qwen3-14B,在准确性上超越前沿模型的同时成本降低了高达 49 倍,并将模型开发周期从数月缩短至数天。
InteractiveWorld 提供了一个可验证的模拟环境和基准,用于评估多模态语言模型(MLLMs)能否可靠地指导人类完成物理任务。实验使用 12 个前沿 MLLMs 在包含 120 个多轮任务的基准上评估,结果显示它们距离成为可靠的助手仍很远,即使是 Claude Fable 5.1 在长时程指导与规划任务上的得分也仅为 20% 和 25%。
Omni-Woodpecker 是一种无需训练的框架,通过识别模态冲突并重平衡隐藏表示来减少全模态大模型的跨模态幻觉,在 CMM 和 AVHBench 上将 Qwen2.5-Omni-7B 提升了 12.9 和 8.6 分,并在四个通用 OLLM 推理基准上持续提升 0.67-2.25 分,代码开源。
TTR-Compressor 作为标准池化与投影压缩的替代方案,在高效大模型块状稀疏注意力压缩和 MLLM 视听域投影(合并器)方面均显示显著实证优势。该技术可拓展至视频/音频时序压缩、原生高效 ViT 训练及深度感知压缩等新应用领域。
Anthropic 将 Agent Skills 标准捐赠给 Agentic AI Foundation,此举旨在保持该标准的开放、社区驱动和供应商中立。该基金会由 Anthropic、Block 和 OpenAI 共同创立,此前 Anthropic 已向该基金会捐赠了 Model Context Protocol (MCP)。
Torch-spyre 的 Inductor 决定每个内核的工作如何在 Spyre 的核心上分配,并管理张量在片上 Scratchpad 和片外内存之间的驻留,而后端编译器将这些决策转换为硬件可以实际运行的指令。
米哈游联合清华北大等高校发布开源 GameScaling 游戏模型,覆盖 0.8B 至 27B 参数规模。该系列 8 个模型基于 Qwen3.5 视觉语言模型继续预训练,训练数据涉及《我的世界》《毁灭战士》等游戏。模型接收游戏画面及操作记录生成后续指令,支持实时游戏交互,4 种参数规模各有 S1、S3 两个版本,采用 Apache 2.0 许可证。
生数科技Motubrain团队开启2.0训练全流程直播,持续半个月展示具身模型训练过程。直播涵盖预训练、后训练、Agent任务执行和RSI探索四个环节,向公众开放模型从训练到能力迭代的过程。此举旨在提升Physical AI研发透明度,分享规模化训练、跨任务泛化等研究经验。
vLLM 引入基于推送的 NIXL 连接器,通过将后预填充传输协调和设置移出关键路径,减少时间到第一个 token (TTFT) 和每个输出 token 的时间 (TPOT),提升应用响应性。