IBM vLLM-Hook MIA 插件实现快速运行时监控与控制
IBM 发布 vLLM-Hook MIA 插件,在 vLLM 推理引擎中实现运行时监控与控制,速度比前身 vLLM-Hook 快 20 倍、比模型内插入代码的类似方法快 14 倍,延迟仅增加 2%-6%。该插件允许开发者实时观察和调整模型状态,如拒绝恶意提示、标记幻觉事实或编辑响应语气与准确性,同时几乎不降低性能。
IBM 发布 vLLM-Hook MIA 插件,在 vLLM 推理引擎中实现运行时监控与控制,速度比前身 vLLM-Hook 快 20 倍、比模型内插入代码的类似方法快 14 倍,延迟仅增加 2%-6%。该插件允许开发者实时观察和调整模型状态,如拒绝恶意提示、标记幻觉事实或编辑响应语气与准确性,同时几乎不降低性能。
Nebius 和 Nscale 等全球科技合作伙伴计划使用 NVIDIA Vera CPU 构建下一代基础设施,以应对智能体计算的快速发展需求。Vera CPU 通过加速智能体信息检索、软件工具运行、代码执行和结果评估等任务,提升响应速度并优化数据中心计算能力,支持数千任务并行运行时仍保持高效。
NVIDIA 扩展开源 Agent Toolkit,新增 Agent Knowledge Foundation、OpenShell 安全运行时和 NemoClaw 蓝图等组件,让企业用自有数据定制并管控智能体。
推荐理由: 原文列出 Agent Toolkit 新增组件与多家企业落地细节,可看清企业智能体如何接入自有数据并受运行时约束。
Mistral 与 NVIDIA 合作将 AI 模型与 NVIDIA 加速计算和物理建模工具整合,加速工程模拟并实现闭环 AI 驱动设计。合作将推出公共基准和开放数据集,标准化物理和智能体 AI 在计算机辅助工程中的评估,并利用 NVIDIA Omniverse 进行 3D 模拟和资源创建。
NVIDIA 在 Hugging Face 上线 SimReady Central Library,汇集 2000 多个可直接用于仿真的 OpenUSD 资产,覆盖机械臂、夹爪、仓储设备、机架和冷却设施,免费且无需申请即可使用。
NVIDIA Confidential Computing 通过硬件根隔离和加密认证保护模型和数据执行,新增 Confidential Bare Metal 部署选项,使前沿模型构建者能在第三方基础设施上运行敏感工作负载并保留模型数据控制权。
NVIDIA cuDSS 正式 GA,作为 CUDA-X 库把大型稀疏方程组求解迁移到 GPU,缩短仿真出结果时间并提升吞吐。Applied Materials 在 Ginestra 中实现最高 10x 加速,Dassault Systèmes 的 Abaqus 报告 8-10x 提升,ZEISS SMT 用 COMSOL 完成 EUV 光刻等离子体仿真基准提速 4x。
NVIDIA 欧洲合作伙伴正扩展区域计算能力,支持模型训练与推理,帮助开发者构建 agentic 和物理 AI 应用。Nscale 使用 NVIDIA DSX 平台实现 37% 更多 GPU 和 50% 更高推理吞吐量,Crusoe 开发液冷 AI 工厂支持低延迟推理,Nebius 采用 NVIDIA Groq 3 LPX 加速敏感应用。
NVIDIA 在 GTC Berlin 上展示了其本地 AI 硬件全阵容,RTX Spark 已上线支持 Windows PC 上的个人智能体,DGX Spark 支持开发者构建和扩展 Linux 应用,DGX Station 则为 Linux 企业团队运行前沿工作负载,Windows 版将于 12 月推出。
紫荆智康的“紫荆AI医院”系统已在全国医院测试,医生可拥有AI分身,并通过多分身智能体协同技术实现跨科室协作。AI分身能在虚拟环境中模拟诊疗,结合真实病例进行进化,医生可参考不同分身建议做出判断。系统在MedQA数据集准确率达96%,已在北京清华长庚医院18科室测试,诊疗效率提升30%。
Databricks AI Runtime (AIR) 已正式发布,支持开发者使用 NVIDIA NeMo、NGC 容器和 Nemotron 新菜谱在无服务器 NVIDIA GPU 上训练和微调开放模型。
Databricks 发布 AI Runtime (AIR),将托管 GPU 基础设施直接引入其平台,让客户能在企业数据所在地训练高需求模型。AIR 提供 GPU 基础设施、开发者工具和数据治理功能,支持大规模训练、快速迭代和负载安全,客户无需管理独立的 GPU 堆栈。
NVIDIA Sentry 框架通过在 AI 智能体运行时外部监控,防止其绕过安全边界。该框架可监控智能体使用的工具、凭证和服务,确保其完成目标时不会破坏安全控制。NVIDIA Sentry 作为安全软件框架,专为保护 AI 智能体设计,避免智能体自身篡改或禁用监控机制。
NVIDIA DSX POD 通过整合计算、网络、存储、电力、冷却和软件,使 AI 工作负载在生成首个 token 前能更快、更可预测地形成可生产单元,适用于 AI 工厂建设
DeepSeek 发布开源推理引擎 DeepInfer,支持分布式推理、推测解码等,单集群每日处理 155T tokens,96% 输入缓存命中率,单卡时程收入 38 美元/小时,80% 利润率,81 天投资回报。引擎基于 vLLM 并添加缓存优化,但 KV 缓存管理和负载均衡组件未完全开源。vLLM 团队报告在 GB200 上解码吞吐量与 DeepInfer 相近。
TwelveLabs 的 Pegasus 1.5 视频语言模型现已在 Amazon Bedrock 上提供,可将长视频转换为结构化、带时间戳的元数据,支持基于用户定义标准分析整个视频并返回匹配片段的 JSON 数据,分析时长扩展至每请求两小时,无需预索引且数据保留在 AWS 边界内。
Amazon SageMaker JumpStart 上线以来已集成 100 多个来自 30 家提供商的新模型,涵盖 Qwen 3.8-27B、Cosmos3 系列等。
新 AWS 体验让新 SageMaker AI 客户在注册后只需几步即可进入完全配置的 SageMaker Studio 环境,无需设置高级 AWS 账户或手动配置环境,新客户还可获得 100 美元的 AWS Free Tier 信用额度。
AWS Agent Registry 通过运行时发现机制解决智能体演示中隐藏的问题,其 orchestrator 代理向 AWS Agent Registry 数据平面发送自然语言查询。
Octave Reliance 团队为解决监管行业质量管理的知识孤岛问题,在 Amazon Bedrock 上构建了基于 Cohere Embed v4 的三层安全多人租户 AI 基础设施,将部署时间缩短 50%。
Smartsheet 推出通用版 Model Context Protocol (MCP) Server,使 AI 助手能通过标准化协议读写管理 Smartsheet 数据,支持 40 多种工具操作表格、行、列和自动化
Kling AI 发布视频生成器 Kling 4.0,支持立体音频、多语言唇形同步及轻量级 Flash 变体,可单次生成 30 秒视频并接受最多 10 张关键帧图像输入,Prompt 理解能力提升至 8,000 tokens。
Cloudflare 发布 AI 模型 Clairic,其从文档中提取数据速度和成本优于大型语言模型。Clairic 在 Workers AI 上提供预览,开放权重即将推出。
Mistral AI 发布实时语音智能体全栈 Voxtral 3,包含语音转文本模型(Voxtral Small Transcribe 3)、文本转语音模型(Voxtral Mini TTS 3)及基于 LiveKit 的语音智能体 SDK。
各家口径不同:The Decoder 提到文本转语音模型(Voxtral Mini TTS 3),而第一份报告没有详细说明。
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer,该框架是支撑 V4.1-Flash 模型大规模快速出答案的服务软件。
Meta Muse在用户通过网页链接分享对话时暴露敏感信息,研究人员报告。Meta响应询问称将暂停分享功能以供审查。研究人员发现6,800个分享链接,其中数百个包含非公开信息。
Google 将 Gemini 的 Personal Intelligence 功能推向 Android Auto 和 Google Built-in 车载系统,该功能今日起在 Android Auto 开始推送,未来几个月内登陆搭载 Google Built-in 的车辆。
Yelp 新增 Check for Me 功能,用户可在应用内输入人数和电话,由AI代理致电餐厅查询等候时间并短信告知结果;同时更新AI助手整合 OpenTable 支持预订,并增强个性化与历史记录功能;推出付费产品 Smart Lead Reply 帮助商家自动回复客户并筛选潜在客户,每月收费30美元。
Meta 的 AI 伴侣 Muse 在 40 天内达成 1090 万次美国下载,成为仅有的 12 个达成此里程碑的应用之一,其中 1020 万次下载来自美国市场。
OpenAI允许用户锁定ChatGPT对话以保护敏感信息,可使用四位数PIN或生物识别技术。锁定对话不会创建端到端加密或独立加密库,但会将其移至专用“锁定对话”区域,与常规聊天历史隔离,且不会影响模型改进设置。该功能适用于ChatGPT Free至Enterprise计划,但暂不适用于ChatGPT Healthcare,目前正逐步上线。
Google 宣布其备受期待的 PyTorch 版本 TorchTPU 已作为开源项目发布,让 AI 应用开发者可将其应用运行在 Google 的 Tensor Processing Units (TPUs) 芯片上。
各家口径不同:MarkTechPost 表示 TorchTPU 是为云 TPU 设计的原生 PyTorch 后端,旨在取代 PyTorch/XLA 并支持 eager-first 执行;TechCrunch 提到它是对 Nvidia AI 开发者生态系统的攻击。
Adobe Lightroom mobile 应用新增 AI 功能,用户单击即可修复照片中人物闭眼问题。该功能通过生成式 AI 实现闭眼到睁眼的智能替换,并参考用户 Lightroom 库中其他图像确保眼睛颜色、大小和形状的匹配。免费用户可免费使用该功能两次,之后会提示订阅 Adobe Creative Cloud 计划。
LangChain Deep Agents 0.1.87 发布,支持非交互模式下恢复线程、在提示缓存过期前压缩大型空闲会话、显示提示缓存过期时间、自定义 Slack OAuth 应用身份,并加载来自线程切换器的旧线程;修复本地服务器在所有者死亡时停止、`@` 提及中非 ASCII 文件名支持、`/reload` 变更摘要误导等问题。
LangChain Deep Agents 0.7.29 发布,修复了 `CompositeBackend` 处理无尾斜杠路由、拒绝二进制文件文本编辑、内存中 `grep` 跳过二进制文件等 Bug。
欧洲广播联盟(EBU)与 NVIDIA 合作扩展主权框架,引入云服务商、开源模型开发者及系统集成商,帮助欧洲广播机构在部署智能体时保留数据、基础设施、模型和安全的控制权。
Google 将 Personal Intelligence 引入车载 Gemini,Android Auto 和内置 Google 的汽车可让 Gemini 读取 Gmail、日历、地图、照片、YouTube 和搜索中的个人信息。
Qoder Fast 将首次响应时间从 8 秒缩短至 3 秒,通过客户端优化、并行工具执行、模型路由和网络改进实现,支持更流畅的 AI 协作。
Databricks 将 RFD4-Proteina 模型集成到 Genesis Workbench,支持在 AI 运行时环境中执行,并与研究数据和工作流程连接。开发者可通过 Genie Code 和 NVIDIA BioNeMo Agent Toolkit 技能构建和调整管道,利用 serverless NVIDIA GPU 计算进行蛋白质设计。
Perplexity 发布 Ollama v0.40.7 版本,包含 27B 决策模型 pplx-decider(源自 Qwen3.8-27B 微调),修复了多模型对话、流式响应和远程模型路由中的问题,新增模型渲染器、解析器和模板来源的 API 支持,部分草稿模型开始支持推测解码。
Qoder Lite 推出,每月10美元提供1000个信用点及精选经济型模型。用户可使用IDE、移动端、插件或CLI等方式集成Qoder Agent。