如何使用OpenRouter基准测试LLM
在 OpenRouter 上运行相同任务,对比 GPT-6.1 Sol 在 60 项合成任务中通过 180/180 次测试,DeepSeek 成本最低通过 157/180 次,但与公开排名相关性低(Spearman 相关系数 0.109)。需检查任务重复次数、答案数量和账单验证。
在 OpenRouter 上运行相同任务,对比 GPT-6.1 Sol 在 60 项合成任务中通过 180/180 次测试,DeepSeek 成本最低通过 157/180 次,但与公开排名相关性低(Spearman 相关系数 0.109)。需检查任务重复次数、答案数量和账单验证。
开发者通过 Amazon Bedrock 使用 OpenAI Codex 进行代码探索和工程工作。Amazon Bedrock 支持 Codex 推理,并可与 AWS 身份、IAM 和可观察性实践集成。推荐从 Native AWS Access 开始小规模试点,使用 GPT-5.6 Sol 进行验证,通过 IAM Identity Center 进行身份认证,并配置模型权限和观测目标。
谷歌推出 Gemini Decisions API,由 Gemini Decision1 模型驱动,允许开发人员针对多模态输入评估多达 1000 个问题,单次前向传递评分预设选项并返回概率与置信度,端到端延迟 150–250 毫秒,每百万输入 token 收费 0.10 美元。
Google 发布了多模态决策模型 Gemini Decisions API,支持文本、图像、音频、视频和 PDF,与 Jev 和 OpenAI 的决策模型类似,但更自信;每百万输入 token 价格为 10 美分,输出免费,比 Jev(4.2 美分/百万 token)和 OpenAI(同价)贵。
Google 发布 Gemini Decisions API,由新模型 Gemini Decision 1 驱动,不生成文本,而是针对同一份共享输入对最多 1000 个问题打分并返回校准后的概率,输入定价 $0.10/百万 token、输出不计费。
Google DeepMind 推出 Gemini Decisions API,面向是/否、多选和量表评分等封闭式判断,底层模型 Gemini Decision 1 单次可处理最多 1000 个独立问题,覆盖文本、图像、音频、视频和 PDF。
Google Research 发布可穿戴设备驱动的 CKM 风险评估框架,通过可解释健康年龄模型(CHA)预测未来健康轨迹。该框架基于 2.2 百万人周穿戴数据训练的 SensorWM 模型,提供个性化 12 周反事实健康模拟,结合语言模型生成临床验证的指导方案。CHA 模型整合心率、步数、睡眠等可改变指标,预测 68,000 人年疾病风险,改善临床指标预测效果。
AWS Generative AI Innovation Center 提供 23 件生产级可复用资产,包含 RAG 管道、文档处理器等,可缩短开发时间至数周,DoorDash、Lyft 和 Ricoh 等公司使用后实现测试能力提升 50 倍、工程时耗减少 90%、部署周期从数月压缩至数周。这些资产已通过安全审查并支持持续维护,解决了因缺乏单一事实源、质量信号和复用文化导致的重复开发问题。
状态空间模型(SSMs)在情境学习和精确检索任务上落后于 Transformer,其门控机制导致其先学习记忆解决方案,延迟或阻止正确情境学习解决方案的收敛,但门控机制对改善长序列泛化有益。
Google 发布 Gemini Decisions API,由新模型 Gemini Decision 1(gemini-decision-1)驱动,可在 Gemini API 和 Google AI Studio 中使用。
推荐理由: 原文给出了单次前向打分、延迟与定价数据,读者可据此判断它适合哪些低延迟决策场景。
AWS Quick 的 AI-驱动的产品开发生命周期(AI-PDLC)通过六种专用技能代理,结合人类审批,将企业信号转化为验证原型。Discovery 代理分析企业数据源中的痛点,Prioritize 代理使用 0-10 分数框架评估用例优先级,所有决策均需人工确认。
Genie 在包含表格、笔记本、仪表板等企业级知识资产的基准测试中,正确率达 91%,远超 Agent A(45%)和 Agent B(58%),同时 token 使用量减半,速度提升 3-4 倍。Genie Ontology 通过自动提取和组织企业知识,为 Genie 提供共享的业务理解,显著提升准确性和效率。
Databricks 发布 Genie Ontology 企业上下文层,结合受管定义与持续学习的组织知识,为 AI 智能体提供业务理解能力。Genie 插件支持 ChatGPT、Claude、Microsoft Copilot Cowork 和 Grok Bot,使团队能在 Databricks 中维护业务上下文并跨多个智能体使用。
Databricks Genie Agents 通过支持非结构化数据分析和新 MCP 连接器,现能执行高质量业务分析、分析大量文档并连接企业工具以自动采取行动。新增的 OpenSharing 功能允许用户共享预装数据、指令和知识的受管 Agent 给合作伙伴、供应商和客户,加速外部洞察生成。
Hugging Face 博客介绍了多向量嵌入模型的 Token Pooling 感知训练方法,通过 HierarchicalTokenPooling 将相似 token 嵌入合并以压缩存储。
DeepL Aure模型通过分析原文音频和翻译文本,将说话者的语气、情绪和语速传递至目标语言,支持英语、德语、西班牙语等八种语言,适用于DeepL Voice在线会议、面对面交谈及DeepL API。
vLLM通过EPD(Encoder/Prefill/Decode)分离技术扩展多模态服务能力,支持独立部署的视觉编码器,vLLM v0.32.0包含MiMo和XPU支持,DeepSeek V4.1 Flash的元数据仅请求功能已开源。
inclusionAI 发布了 ZoomGain-4B 大语言模型,在 ZoomGainBench 上取得 61.08 分,并在多个细粒度感知和通用感知基准测试中表现优异;模型基于从全局图像细节中挖掘的全局到局部视觉感知差距构建监督,支持英文和中文问答,可通过 Hugging Face 下载。
inclusionAI/ZoomGain-4B-GGUF 是一个 175B 参数的多模态模型,支持图像输入,使用 FP16、Q8_0 和 Q4_K_M 精度量化。模型包含语言模型和 mmproj 视觉编码器/投影器,通过 llama.cpp 转换为 GGUF 格式。提供 llama-mtmd-cli 命令行推理和 llama-server 网络聊天功能。
inclusionAI/ZoomGain-9B 的 GGUF 格式权重已发布,使用 llama.cpp 转换,语言模型为 FP16、Q8_0、Q4_K_M,视觉编码器和投影器(mmproj)同样采用该量化方案。需同时提供语言模型和 mmproj 文件进行图像输入,支持 CLI 推理(llama-mtmd-cli)和 Web Chat(llama-server)部署。
SWAM 通过跨模态对齐扩展世界行动模型,在 4.7 万小时多模态数据上训练,混合使用 egocentric 视频和 UMI 演示提升控制泛化,最终模型在三个真实任务中达到 40.00% 的成功率,优于 23.33% 的基线。
MBZUAI 的 IFM 发布 PAN 2,一个开放 29B 参数扩散 Transformer(MMDiT)世界模型,输入文本和可选首帧,输出 704×1248 分辨率 24 fps 视频(最长 20 秒),在 100 步多任务中实现 34.0% 的完整计划完成率,领先 6 个测试模型,但长计划失败率高且硬件需求高,代码在 Apache 2.0 下开源。
挪威奥斯陆业余无线电小组通过地面无线电发送语音指令,成功让 OPS-SAT PRETTY 卫星启动《毁灭战士》游戏,创全球首次通过无线电链路让卫星自主识别并执行口头指令的纪录。团队利用可更新的软件和软件无线电设备为卫星增加语音控制能力,使用约 27MB AI 语音识别模型将声音转为文字并检测指令,实验重点在于让卫星自主分析无线电信号并采取行动。
DexForesight 框架通过将动态感知的世界表示注入灵巧策略的潜在空间来隐式学习空间预见性,在 11 个 DexJoCo 模拟任务上使基础策略成功率从 49.4% 提升至 60.5%,在 3 个真实机器人灵巧操作任务上达到 58.3% 成功率。
Infrathon 对六种模型进行了 150 次长时程 AI 基础设施优化任务评估,总耗 10,000 GPU 小时,发现模型排名随评估时程变化,135 次任务在预算后半段实现进一步优化,且 Claude Opus 5.5 将 KV 缓存压缩率从 6.82% 提升至 19.86%,超出人类设计基线。分析显示任务违规、测试不可靠和过早完成是持续优化的主要障碍。
Sing VL S1 是一个基于 Qwen3.5 的多模态决策模型,可对文本或 JSON 及最多四张图像回答命名问题,每个问题使用单个 Transformers 前向传递评分选项,在 43 个文本数据集和 11 个视觉数据集上表现优异,支持 Python 3.12 和 PyTorch 推理。
OpenAI 在 AI 工程师代码峰会上介绍了 Codex 的新工作方式,包括云功能改进、语音交互和智能体协作。Codex Cloud 2.0 允许用户在隔离实例中运行多个任务,但仍存在云功能易用性问题。语音模式作为控制平面可管理代码库,个人智能体 dots 可作为安全网、委托节点和无处不在的存在。
Tether AI Research 推出 0.8B 参数的 BotPsy 模型,基于 Qwen3.5-0.8B 构建,专为函数调用和代理工作流设计,适合设备端部署。BotPsy 在 6 项工具使用和代理基准测试中优于所有 ≤1.2B 参数模型,包括 Qwen3.5-2B-Think,并在 5 项测试中得分最高,速度提升 2.5 倍,推理效率提升 3 倍。
dNaViT 是一种离散原生分辨率视觉 Transformer,通过分组乘法量化(grouped product quantization)和双分支目标,在视觉理解、生成和编辑任务中匹配或超越特定基线。它在 12 个视觉理解基准、4 个生成基准和一个图像编辑基准上表现优异,证明离散词汇可以作为通用视觉表示
NVIDIA Jetson Orin NX模块用于AIRECO公司回收厂试点线推理,驱动机械臂从传送带抓取目标物,识别准确率达95%;计划明年将年处理量从1.8万吨提升至4.8万吨,运营成本降低85%。
Moonshot AI 的 Kimi K3.1 Pro Highspeed 已在 Amazon Bedrock 上发布,该模型为 Kimi K3 的后训练版本。
Seedream 5.5 在 ComfyUI 中通过合作伙伴节点提供,是一个多模态模型:从文本生成内容,并从图像进行编辑。该版本在透明 RGBA 生成、精确的局部多轮编辑、带可读文本和结构化布局的海报和图表生成、更逼真的肖像以及光照控制方面取得进展。在 ComfyUI 中,所有功能集成在一个节点后,可串联编辑流程并将透明输出直接发送到合成节点。
GitHub MCP 服务器为 Claude Sonnet 5.5 的每个请求增加了 19,436 个输入 token,远超 CLI(1,421)和技能(3,315)。
在 OpenRouter 上测试,fp8、fp4 与 fp16 在 240 个评分任务中未发现精度差异,所有六种端点得分在 98.3% 至 99.2% 之间。低精度通常更便宜,但 fp8 比 fp16 更贵的情况有 7 模型,4-bit 比 8-bit 更贵的情况有 7 模型。fp4 端点在 40 个无工作流乘法任务中表现最差,但差距可能由偶然性导致。
谷歌推出 VLA 机器人模型 Gemini Robotics 2.5,灵巧度、可靠性、安全性实现跃升,在奔驰生产线上成功率达 96%。该模型测试任务达 200 项,成功率较基线高出 30%-100%,速度提升 20%-30%,适配 Apptronik Apollo 2 等机器人,并采用 ASIMOV-Jailbreak 基准提升越狱抵御率至 99.5%。
Anthropic 推出 Claude Whiteboards、Claude Sheets 和 Claude Data,将 AI 助手从聊天问答推向团队协作工作台
谷歌联合 Artificial Analysis 推出 MKA 基准测试,评估 AI 智能体处理多模态知识工作能力,Gemini 4 Carbon 获测试第二,任务成本为第一名的六分之一。
Amazon Bedrock AgentCore Evaluations 提供内置、DeepEval 和 AutoEval 三种评估器评估智能体。内置评估器由 AWS 开发和测试,覆盖常见维度;DeepEval 和 AutoEval 是第三方开源库,AgentCore 在生产环境托管运行。评估过程需先定义业务成功标准,拆解为可观察行为,再映射到合适的评估器层级。
GPT-6 Astra在非对抗设置中观察到CoT监测能力下降,对抗测试中CoT逃逸能力增强,且无CoT能力显著提升。预训练中,无CoT能力随基础模型困惑度降低而提高,架构影响有限,强化学习增强CoT控制能力,模型生成数据微调可传递CoT控制能力。模型困惑度与无CoT能力、控制能力呈正相关。
英伟达的GR00T 2 AI模型通过分析人类视频动作,无需远程操控即可让机器人学习新任务,在400,000小时视频数据上训练,实验室测试成功率为10-80%,配合GPT-6 Astra可实现97%的玩具模型组装成功率,但触觉处理和语言模型延迟仍是挑战。