自托管 LLM 与云 API 对比:如何在这两者之间进行路由
自托管 LLM 可让你掌控数据存储位置,适合敏感工作负载,但需承担硬件、维护和运营成本,而云 API 则大多代为处理。混合方案允许在本地或云端路由请求,无需管理两个独立系统。
自托管 LLM 可让你掌控数据存储位置,适合敏感工作负载,但需承担硬件、维护和运营成本,而云 API 则大多代为处理。混合方案允许在本地或云端路由请求,无需管理两个独立系统。
NVIDIA DGX Spark 可连接更多节点,支持并行运行前沿级 AI 模型,需数百 GB 内存;开发者可编排多模型并链式推理。
Google API Gateway 现在支持流式传输,允许实时 API 调用,无需更改规范。流式传输支持 Server-Sent Events (SSE)、分块传输编码、HTTP 响应流和 WebSocket,最长连接时间可达一小时。在公共预览期间,创建网关时通过 `--enable-streaming` 标志启用,计划在正式版中自动启用,无需额外配置。
NVIDIA今日发布Minerva平台,通过整合基础设施和AI工作负载的遥测数据,并应用专有AI模型将其转化为及时、可操作的洞察,帮助团队更早发现问题并保持AI工厂的生产力。
Google DeepMind 与 Google Research 联合发布 Forest Typology (ForTy) 2020 全球地图,将地球每 10x10 米土地分类为六种森林和土地利用类型,并追踪 2017-2025 年变化。该地图基于联合国粮农组织定义,准确区分原生林、人工林、单一物种林浆、经济作物林和其它土地,支持欧盟防砍伐法规,准确率达 90%。
各家口径不同:谷歌 DeepMind 表示地图将土地分为六种类型;The Decoder 提到只有四种类型(原始森林、木材种植园和树作物农场)。
Moshi推出商品交易推荐引擎,连接市场信息与交易者核心需求。该引擎整合市场数据、工作界面及定制化推荐,帮助交易者处理海量信息。Moshi CEO Anekha Sokhal强调,实用AI需融入实际工作流程。
1Password 推出 Agent 功能,允许 AI 智能体在无需查看或处理用户密码的情况下登录其账户。用户仍需批准登录请求,但该功能应简化使用智能体执行需要登录服务的任务的流程。
各家口径不同:The Verge 表示该功能允许 AI 代理无需查看或处理用户密码即可登录,而 TechCrunch 指出需要唯一数字密钥进行验证和用户警报手动确认。
Anthropic 发布 Claude Duet 应用,旨在与 Meta Muse、OpenAI Dots 等竞争,该智能体面向专业人士和小型企业,可自动化管理任务
各家口径不同:The Decoder指出Claude Duet需要用户批准敏感操作,并在虚拟机中运行以保护隐私,而TechCrunch没有提到这些细节。
小米 REDMI Book 14 2027 笔记本采用金属材质、72Wh 超大电池,真实办公续航达 20.2 小时,搭载第三代英特尔酷睿平台,配备超级小爱 2.0 支持AI办公内容生成,10 月 27 日发布。
AKV 提出缓存工程方案,通过 drop 和 repos 操作管理 LLM 智能体键值缓存,提升效率与准确性;实验显示,工具响应滚动 drop 缓存策略使平均基准分数提升 1.7 分,成本降低 27.7%,输出吞吐量最高提升 1.2 倍,P95 请求延迟加速 1.5 倍。
小鹏 IRON 人形机器人每 0.2 秒重新推理一次,可预测 6 秒内动作变化。它与人互动时能灵活应对临时“变招”,如握手、碰拳、击掌,并调整回应。机器人搭载物理世界大模型,拥有 3 颗图灵 AI 芯片,构建 VLT+VLA+VLM 高阶大小脑能力组合。
Anthropic 平台工程团队所有代码由 Claude 生成,工程师转向系统设计与验证,AI 智能体已自主修复测试并探索直接修改代码库。
NVIDIA 发布 OpenShell 参考架构,基于 OpenShell 安全运行时软件,整合 Vera Rubin 推理基础设施、Vera CPU 运行智能体框架、BlueField-4 DPU 上的 Sentry 安全框架,并可通过 RTX Spark、DGX Spark 和 DGX Station 延伸到边缘。
推荐理由: 原文给出了面向企业智能体安全运行的全栈架构组成与首批合作方,读者可据此判断企业级智能体治理的落地形态。
英伟达宣布全球领先电信运营商正将网络转变为分布式智能平台,通过在数据中心、区域站点和蜂窝站点添加英伟达加速计算,使模型和应用更靠近用户。
欧洲交通领导者 Bolt with Lucid、梅赛德斯-奔驰、大众商用车和 Einride 正在 NVIDIA Hyperion 计算平台上展示自动驾驶交通应用案例,展示对 3 级和 4 级车辆以及未来自动驾驶出租车车队的潜在应用。
Agile Robots 发布 Agile ONE SN 人形机器人参考平台,搭载 NVIDIA Isaac GR00T 和 Jetson Thor,计划集成 NVIDIA Halos 安全系统,为开发者提供完整的人形机器人开发与验证平台。
Mastra Observability 是一个托管平台,直接连接到 Mastra 框架项目,提供 traces、metrics 和 evals 功能以持续改进智能体。用户可搜索过滤 traces、监控性能成本与正确性,并通过 eval loop 优化智能体;平台免费提供每月 10 万事件,付费计划每月 250 美元含 100 万事件。
一汽-大众捷达 M6 今日上市,提供 465 Pro(7.98 万元)、555 Max(8.98 万元)、555 Ultra(9.98 万元)三种配置,搭载地平线征程 6M 芯片支持城区/高速 NOA、跨层记忆泊车,OTA 后支持车位到车位全链路领航;内置千问+DeepSeek+豆包三大模型,配备 113kW/145kW 驱动电机,续航 465km/555km。
DeepSeek 开源了 DeepInfer 推理框架,该框架用于运行其生产服务并支撑 DeepSeek-V4.1-Flash。
Google 开源了 TorchTPU,一个为云 TPU 设计的原生 PyTorch 后端,取代了 PyTorch/XLA 并支持 eager-first 执行。
各家口径不同:MarkTechPost 表示 TorchTPU 是为云 TPU 设计的原生 PyTorch 后端,旨在取代 PyTorch/XLA 并支持 eager-first 执行;TechCrunch 提到它是对 Nvidia AI 开发者生态系统的攻击。
Google Cloud 发布开源分布式推理栈 llm-d 1.0,将 vLLM 或 SGLang 模型服务器整合为统一池,在 PyTorch 会议北美站发布,目标解决自托管智能体和强化学习工作负载中轮询负载均衡失效问题
Vercel 发布开源包 durable-harness,通过持久化日志防止编码智能体在崩溃或超时中断会话。该包支持 Pi、OpenCode、Claude Code 和 Codex 等现有 harness,将每一步写入可持久化日志,崩溃后可从日志恢复并避免重复执行已完成的调用,防止 token 重复计费。
华硕破晓 Air 搭载第三代英特尔®酷睿™7处理器350(6核6线程,2.8K OLED屏),CPU-Z单核744.1分/多核3725.1分,CineBench R23单核2003/多核7838,续航达19小时28分钟,16GB LPDDR5X内存+512GB PCIe 4.0 SSD,支持小硕知道×WorkBuddy专享版和ExpertMeet AI会议方案。
Anthropic 发布 Claude Duet 始终在线代理,主动处理任务并需用户批准敏感操作。该应用基于 Claude Opus 5.5,支持 iOS、Android 和网页版,通过 6,000+ 连接器与 Gmail、Slack 等服务交互,用户可通过文本或语音分配任务。代理在虚拟机中运行,保护用户隐私并需用户批准高风险操作。
各家口径不同:The Decoder指出Claude Duet需要用户批准敏感操作,并在虚拟机中运行以保护隐私,而TechCrunch没有提到这些细节。
在企业 AI 推理成本中,数据存储开销常被忽视。每次模型响应后,会产生大量需存储的后端数据,包括日志、缓存、备份等,其体积是用户所见输出文件 130 倍。麦肯锡预测 AI 推理需求到 2030 年将达数据中心总需求的 40%,近 95% 的 IT 决策者报告过去一年因生成式 AI 导致数据量增长。
欧洲零售商正利用开放模型和物理智能,例如将推理成本降低 90% 的电商平台,以及通过数字孪生模拟不同机器人舰队协作的配送中心。Shopify 使用 NVIDIA 加速的开放模型,通过后训练将 NVIDIA Nemotron 3.5 Lightning 集成到 Sidekick 中的 GraphQL 子代理,实现 90% 的成本降低和 7 倍的响应速度提升。
企业正使用 NVIDIA DSX AI 工厂平台整合电网与 AI 工厂系统,从变电站到机架进行规划、模拟和运行,以解决电力成为基础设施最大瓶颈的问题。
NVIDIA 扩展 Cosmos 平台,新增训练工具、模拟检查点和 Cosmos Data Factory 蓝图,帮助开发者快速构建世界模型。Cosmos Data Factory 提供 5 个云原生蓝图,通过 GitHub、Azure 等渠道支持自动驾驶数据生成、图像属性增强等任务,Porsche 和 ANYbotics 已应用以加速物理 AI 开发。
欧洲金融服务机构在 GTC Berlin 展示基于 NVIDIA 加速计算的专有智能系统,使用 Open 模型运行于自身基础设施。
WildAWM 通过交互合成可控的计算机环境与任务,提升通用智能体在 Web、CLI 和 GUI 基准测试中的泛化性能。该系统支持图形界面、模型上下文协议服务及命令行界面,完全基于开源模型,并引入基于执行的关卡机制解决任务合成中的可解性、难度维持和验证器可靠性问题。Qwen 模型在 WildAWM 合成环境中训练后,在 8 项跨分布基准测试中取得显著提升。
Browser Use Cloud MCP 服务器通过 API V3 在云端浏览器运行代理,提供 11 种模型选择,支持 10 并行任务,每分钟计费约 0.02 美元,但仅支持 API V3 且无 GPT-6 Luna;其开源版本 Browser Use open-source MCP 免费本地运行,含 16 种直接控制工具,可自定义模型,适合长任务。
AWS 推出在 AWS Trainium 上用 torchtitan 训练 Qwen3 的三种方法,包括使用 Transformers v5、torchtitan 原生配置以及 Neuron Kernel Interface (NKI) mixture-of-experts (MoE) 内核。
自适应智能体框架 (AAIF) 使用 Strands Agents,通过本地小语言模型 (SLMs) 处理常规任务,复杂请求则路由至 Amazon Bedrock 云模型,降低成本并保持低延迟。
Anthropic 发布面向专业人士和小企业主的 AI 智能体 Claude Duet,作为研究预览推出,支持 iOS 和 Android 独立应用及网页版,基于 Claude Opus 5.5 构建,可发送每日摘要、监控应用并处理任务,具备浏览器虚拟机及安全系统,当前为早期版本且需付费订阅。
沃尔玛将允许用户连接自己的 AI 智能体为其网站购物,用户可批准和审查购买并设置消费限额。智能体将连接到新的“智能体档案”中,默认所有购买需用户批准,但也可设置预算(如最高 100 美元)。沃尔玛将建立“智能体网关”,通过 Model Context Protocol 连接智能体,防止其访问用户购物历史和个人信息。
OpenAI 的 GPT 6.1 模型(Astra、Sol、Luna)将登陆 Google Cloud 的 Model Garden 与 Antigravity 代码工具。Google Cloud Marketplace 将提供基于其基础设施的 GPT 模型服务,支持按性能、延迟和效率动态迁移工作负载。
各家口径不同:OpenAI News 提及与 Gemini 的 Model Garden 和 Google Cloud Marketplace 的集成;The Decoder 具体说明了提供的 GPT-6 Astra、GPT-6.1 Sol 和 GPT-6 Luna 模型及其定价细节。
沃尔玛发布 Agent Gateway 管理交易,欢迎 AI 智能体购物,与亚马逊封锁 AI 智能体形成对比。该技术支持通过 MCP 协议连接,允许 AI 智能体搜索沃尔玛库存并代为购买,同时推出 Agent Profiles 控制功能,让用户授权和限制 AI 智能体行为。沃尔玛强调智能体需遵守特定条款,包括不得超出用户意图、无法访问支付信息,违规者将被封锁。
TorchTitan 新增对 Muse Spark Open、Muse Glimmer、Qwen3-VL、Qwen3.5、Kimi K2.7、Kimi K3 和 DeepSeek-V4 等最新 SOTA 模型的原生 PyTorch 支持。
PyTorch 用户可在 AMD MI350 系列显卡上通过 FlyDSL 使用现有算子 API 加速密集和分组 GEMM、融合多头注意力、MXFP8/MXFP4 缩放 GEMM、RMSNorm 和 TopK,无需调用自定义内核
Baseten 发布全球顶尖决策模型 mammoth-1(27B)和 elephant-1(9B),分别位列 Jev 决策指数 0.4 第 1 名和 9B 决策模型第 1 名。两者均开源,可在 Baseten 模型 API 上免费试用一周(默认零数据保留)。