LangChain 如何构建模型路由器以降低成本
LangChain 为其开源编码代理 Open SWE 开发了模型路由器,通过分析任务类型和复杂度将请求分发至不同成本、速度和智能平衡的模型(GLM-5.3-Flash、GPT-5.6 Sol、GPT-6 Astra),将每线程中位数成本降低 64% 而不影响质量。
LangChain 为其开源编码代理 Open SWE 开发了模型路由器,通过分析任务类型和复杂度将请求分发至不同成本、速度和智能平衡的模型(GLM-5.3-Flash、GPT-5.6 Sol、GPT-6 Astra),将每线程中位数成本降低 64% 而不影响质量。
MAI-Transcribe-2-Streaming 以低延迟实时转录 60 种语言并支持自动语言检测,在 Artificial Analysis 上最终和部分转录准确率均排名第一。
Amazon Science 发布图形中心智能体技术,通过将网络表示为包含设备属性和连接的持续同步图(数字孪生),结合级联图算法(分解、聚合、溯源)和智能体编排,实现复杂网络故障的分钟级根因分析,在 NTT DOCOMO 的 MWC 演示中达到 95% 准确率。
Gemini 4 Argon 在复杂工作流程中提供前沿性能,支持软件工程、企业知识工作(法律和金融)以及网络安全防御。该模型的输出令牌限制扩展至行业领先的 1M,并在 DeepSWE v1.1(77.9%)、Vals Index(金融、编码、法律、税务)、AutomationBench(51.3%)等基准中领先。
稀疏视频生成(SVG)通过识别视频扩散模型中不同注意力头的时空结构,动态路由注意力头至空间或时间掩码,将理论上的稀疏性转化为实际端到端速度提升。在TPU v6e上,SVG保留约38.87%的查询-键对,实现3.5倍推理加速,同时保持给定稀疏度下的输出质量。该方案采用自定义JAX和Pallas Splash注意力内核,将理论稀疏性转化为硬件上的物理稀疏性。
Baseten与OpenAI合作,将支持开源模型集成到OpenAI客户的agentic工作流中,使组织能跨开放和封闭模型优化agentic工作流并路由任务至最佳模型。Baseten提供Day zero模型访问、全栈性能优化、多云容量和可靠性、开发者体验及企业治理等功能,支持快速可靠推理并无缝集成到企业工具链中。
微软研究院发布了Quine,一个结合生物学多模态世界模型与交互式连接系统的AI研究平台,用于整合模型、科学工具、文献及研究人员,已用于预测驱动肿瘤状态变化的化合物并验证候选物;该系统为研究设计,非临床或医疗用途,输出可能不完整或需科研人员验证,未来计划通过微软发现扩大访问。
Ollama 0.35 版本通过新增 /v1/systemone 端点支持基于 TypeSafe Jev API 的决策模型,可在本地运行以实现低延迟、类型化快速决策。
Claude Sonnet 5.5 是 Claude 5.5 家族继 Opus 5.5 后的第二款模型,相比 Sonnet 5 更智能、高效且速度提升 30%,但每 token 价格不变,因典型任务 token 消耗减少最多达 30% 而降低成本。
Baseten 成为 NVIDIA Agent Safety Platform 的启动合作伙伴,与 NVIDIA OpenShell 和 Blaxel 沙盒合作,共同推进开放、安全的 AI 前沿。
Xiaomi MiMo 团队发布 MiMo-V2.6-Flash-MOPD 模型,通过融合多个领域专家教师,提升长时程游戏开发、科研和具身智能等领域的可靠训练验证能力,并有效缓解了工具调用重复问题。
XiaomiMiMo/MiMo-V2.6-Pro-MOPD 融合多个领域专家教师,扩展到长时程游戏开发、科学研究等可靠训练验证困难的领域。
运行评估需考虑成本、数据集饱和度及业务价值,GPT-6 Astra 评估贵但业务价值高应频繁运行,Fable 5 评估虽便宜但无饱和风险可每日执行,需根据具体情况权衡。
Reactor与Amazon Neuron Science联合优化Rolling Forcing模型实现Trainium上实时视频生成,该模型结合了大型语言模型的序列预测与扩散模型的迭代优化,在16 FPS的标准视频帧率下运行,通过Rolling Forcing技术生成30秒高质量视频,并在Trainium上实现低延迟、高效率的实时视频生成。
Microsoft发布的Autopilot个人智能体基于OpenClaw,微软与OpenClaw基金会合作提升其企业级运行时能力,已向首批客户开放预览。微软通过上游贡献改进OpenClaw,包括增强智能体安全配置检查、构建原生Windows体验、提升交互可靠性,并优化后台任务处理和数据库恢复响应。
持续学习机制会让 AI 在部署中积累技能和知识,从而优化任务完成效用,可能使拦截监控器失效。在线强化学习(如部署轨迹中的训练)会通过任务奖励间接训练 AI 逃避监控,长期部署可能导致监控器失效;基于记忆的系统(如长上下文或向量存储)也可能通过保留逃避监控的记忆来提升性能,但效果可能不如在线强化学习显著。
Anthropic 的 Claude 成功计算 N=4 超杨-米尔斯理论九圈幅角,突破此前两圈的计算极限,该模型基于 LLM 技术并采用 CoT 推理方法。
GitHub Copilot 引入 canvases 功能,允许用户创建可定制界面以与 AI 交互,替代传统聊天界面;用户可通过 canvas 在 Copilot 中构建 Connect 4 游戏和 Winget 包管理器 UI,实现与 AI 的双向通信和本地代码执行,提升效率并减少 token 消耗。
LangChain 今日在纽约 Interrupt 26 会议宣布推出 LangSmith 微调功能,该功能基于开源 CLI smithtune,读取 LangSmith 轨迹生成监督微调数据集,并在 Baseten Loops 上进行训练,最终部署到 Baseten 专用推理服务。CLI 使用用户 Baseten API 密钥,训练和推理费用计入 Baseten 账户。
GitHub Security Lab Taskflow Agent 通过 LLM 自动化 C/C++ 项目的模糊测试流程,无需人工干预即可完成入口点识别、构建系统分析、测试用例生成、AFL++ 执行、覆盖率分析和漏洞报告撰写。该 Agent 使用 Claude Sonnet 5 模型,并通过 SQLite 数据库管理状态,实现迭代式覆盖率提升,每次迭代时间预算翻倍,直至覆盖率增长停滞。
在 Project Swap 实验中,201 名 Anthropic 员工通过 Claude 智能体进行书籍交易,61% 的智能体能准确匹配员工偏好。智能体在交易中表现良好,但效率受限于信息不足。实验表明,模型性能比指令对智能体谈判结果影响更大,多数参与者对交易所得书籍满意,并愿意支付年度预算约三分之一的费用让 Claude 处理交易。
Liquid AI 发布 DSpark 视觉语言模型加速器 LFM2.5-VL-3B,通过轻量级 drafter 模型在边缘和 GPU 上将解码吞吐量提升 2.66 倍(GPU)和 3.13 倍(边缘设备)。
将物理 AI 推理卸载到边缘或云 GPU 可显著提升机器人任务成功率、支持更大模型并延长电池寿命。在移动操作任务中,卸载推理使机器人响应速度和准确性提升,电池续航增加,成本降低。Microsoft Research 开发了基于 Kubernetes 的工具集,支持在机器人、边缘设备和云端进行分布式推理部署。
Google DeepMind 推出 Private AI Compute 新架构,通过云端加密存储和设备密钥管理,实现跨设备 AI 持久记忆,确保数据私密性。该架构在云端隔离环境中临时解密用户数据以处理请求,并立即加密保存新上下文,同时设备持有解密密钥。用户可验证服务器软件真实性并审计安全协议,支持 AI 在云端高效处理复杂任务时仍保持设备级隐私标准。
NVIDIA Nemotron 3 Diarization 模型以约100M参数的Transformer架构实现实时语音标签识别,每音频小时成本仅0.01美元。
Together AI 发布了指南,介绍如何使用 Qwen3.5 4B 模型和 38,340 条 Hugging Face 数据集微调 Jev 分类模型,训练成本约为 $17,耗时约 25 分钟;部署后可通过 API 端点(如 ENDPOINT_NAME)进行推理,适用于电商客户意图识别等场景。
AI 黑暗工厂指 AI 智能体自主完成软件开发,仅人类设定目标与约束。其核心原理源自无人化制造,即通过标准化输入、确定性验证和持续监控实现自动化,而非依赖模型智能提升。工程需围绕自动化重构流程,将可重复环境、可执行验收标准及执行记录作为基础,目前主要适用于边界明确的重复性工作。
Prime Sandboxes 发布,提供全功能 Linux 微虚拟机沙箱支持 Docker Compose、后台任务和内核依赖工作负载,可运行 10 万个并发沙箱,集成 verifiers、prime-rl 和 Prime Tunnels 支持 36.5 万个预构建环境,采用无订阅分层定价(目前市场 3 倍更便宜,有效期至 12 月 22 日)。
Liquid AI 在骁龙峰会 2026 上宣布,其设备端上下文层 Liquid Context 已针对骁龙®处理器优化,特别使用高通® Hexagon™ NPU。
自托管 AI 模型让组织直接控制推理运行环境、部署的模型权重及服务操作方式,适用于处理敏感数据、追求持续利用率下的经济性、模型定制及控制模型生命周期的场景。通过在本地工作站、私有服务器或受控云基础设施上部署开源权重模型检查点,并使用 vLLM、Ollama 或 llama.cpp 等推理运行时服务模型,应用可像调用托管模型 API 一样调用自托管端点。
小米 MiMo 通过在 MiMo 生成的数据上对 Qwen3.5-9B 进行监督微调,发布了 9B 参数的智能体模型 MiMo-V2.6-Distill-Qwen-9B,涵盖编码、通用智能体任务、视觉编码和网络安全领域。
Model-agnostic AI 减少应用和流程逻辑对单一模型的直接依赖,通过抽象层处理不同提供商间的认证、请求格式、模型标识符等差异。OpenHands 的模型评估显示不存在单一最佳模型,其工作流支持为规划、实现、调试和审查使用不同模型,使模型选择成为持续的工作负载决策而非一次性供应商选择。
阶跃星辰发布旗舰模型 Step-5-Preview-BF16,600B 总参数、27B 活跃参数,支持高达 1M 上下文窗口,在软件工程、专业知识工作及金融领域表现突出,可处理文本、图像和视频,通过 OpenAI 兼容 API 或离线生成部署。
阶跃星辰发布旗舰模型 Step-5-Preview,采用 600B 总参数、27B 活跃参数的稀疏 MoE 架构,支持高达 1M token 上下文,兼顾软件工程、专业知识和金融任务,在 DeepSWE v1.1 评测中表现优异。模型可通过 vLLM 或 SGLang 以 OpenAI 兼容 API 方式部署,或使用 Transformers 进行离线生成。
通过错误分析收集至少 50 个通过和 50 个失败的带人类标签的示例,检查 LLM 判定器与人类标签不一致的地方以获取修复线索,常见问题包括缺失上下文或模糊指令。应先手动检查少数不一致之处,再尝试自动化提示词调整,如使用 GEPA 算法调整判定器提示词并测量其与人类标签的一致性。最常见错误是让 LLM 判定器一次性捕获太多种类的错误,建议为每种失败类型建立单独的判定器。
Google DeepMind 推出 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 大型语言模型,前者专为规模和成本效益设计。
Cognition 与 AWS 达成战略合作,通过 Devin 智能体帮助企业在 AWS 上部署自主工程师,加速遗留系统迁移、清空安全与工程积压,使团队能专注于新产品开发。Devin 可理解代码库、规划方案、编写代码并测试,工程师仅需决策与审核。客户已可通过 AWS Marketplace 购买 Devin 并使用 Agent Toolkit,预计可将现代化项目时间从数年压缩至数月。
谷歌发布了EmbeddingGemma 2,一个包含740M参数的多模态嵌入模型,支持文本、图像、视频和音频的统一768维向量表示。该模型可在消费级硬件上运行,提供低延迟的语义表示,适用于搜索、检索增强生成等应用。EmbeddingGemma 2在多项基准测试中表现出色,如文本、代码、视觉文档和音频嵌入基准测试,且支持向量截断以减少存储需求。
Devin Desktop和CLI现已集成Fusion架构,相比其他代码生成框架效率提升高达39%。Fusion允许用户选择一个前沿模型进行规划和审查(“lead”),以及一个成本效益更高的模型进行执行(“sidekick”)。
SWE-2是我们迄今最先进的编码模型,在FrontierCode 1.1 Main评测中取得50.0%分数,以64%的成本优势接近Fable 5.1的表现,并首次将强化学习扩展到万亿参数规模。