跳到正文
实时
10月22日周四
  1. The Decoder70

    Google Cloud 开始提供 OpenAI 模型,成为唯一同时拥有 Gemini、Claude 和 OpenAI 模型的云服务商

    Google Cloud 今日起开始提供 GPT-6 Astra(用于编码和科研)、GPT-6.1 Sol(性能相似但更便宜)和 GPT-6 Luna(快速且成本高效)三个 OpenAI 模型,成为唯一同时提供 Gemini、Claude 和 OpenAI 模型的云服务商,目前以私享预览形式向企业客户开放注册,费用计入现有 Google Cloud 合同。

    同一件事 · 2 家

    各家口径不同:OpenAI News 提及与 Gemini 的 Model Garden 和 Google Cloud Marketplace 的集成;The Decoder 具体说明了提供的 GPT-6 Astra、GPT-6.1 Sol 和 GPT-6 Luna 模型及其定价细节。

10月21日周三
  1. IBM Research Blog

    IBM vLLM-Hook MIA 插件实现快速运行时监控与控制

    IBM 发布 vLLM-Hook MIA 插件,在 vLLM 推理引擎中实现运行时监控与控制,速度比前身 vLLM-Hook 快 20 倍、比模型内插入代码的类似方法快 14 倍,延迟仅增加 2%-6%。该插件允许开发者实时观察和调整模型状态,如拒绝恶意提示、标记幻觉事实或编辑响应语气与准确性,同时几乎不降低性能。

  2. NVIDIA Blog42

    欧洲领导者采用 NVIDIA Vera CPU 构建本地基础设施。

    Nebius 和 Nscale 等全球科技合作伙伴计划使用 NVIDIA Vera CPU 构建下一代基础设施,以应对智能体计算的快速发展需求。Vera CPU 通过加速智能体信息检索、软件工具运行、代码执行和结果评估等任务,提升响应速度并优化数据中心计算能力,支持数千任务并行运行时仍保持高效。

  3. 量子位

    清华AIR孵化紫荆智康:多智能体协同重构医疗AI,医生AI分身“坐诊”医院

    紫荆智康的“紫荆AI医院”系统已在全国医院测试,医生可拥有AI分身,并通过多分身智能体协同技术实现跨科室协作。AI分身能在虚拟环境中模拟诊疗,结合真实病例进行进化,医生可参考不同分身建议做出判断。系统在MedQA数据集准确率达96%,已在北京清华长庚医院18科室测试,诊疗效率提升30%。

  4. Databricks Blog

    Databricks AI Runtime 正式发布

    Databricks 发布 AI Runtime (AIR),将托管 GPU 基础设施直接引入其平台,让客户能在企业数据所在地训练高需求模型。AIR 提供 GPU 基础设施、开发者工具和数据治理功能,支持大规模训练、快速迭代和负载安全,客户无需管理独立的 GPU 堆栈。

  5. NVIDIA Technical Blog75

    NVIDIA Sentry:运行时安全 AI 智能体框架

    NVIDIA Sentry 框架通过在 AI 智能体运行时外部监控,防止其绕过安全边界。该框架可监控智能体使用的工具、凭证和服务,确保其完成目标时不会破坏安全控制。NVIDIA Sentry 作为安全软件框架,专为保护 AI 智能体设计,避免智能体自身篡改或禁用监控机制。

  6. Latent Space

    DeepSeek DeepInfer 开源 SOTA 推理引擎:每日处理 155T tokens/集群,日创利 220 万美元,80% 利润率,81 天投资回报

    DeepSeek 发布开源推理引擎 DeepInfer,支持分布式推理、推测解码等,单集群每日处理 155T tokens,96% 输入缓存命中率,单卡时程收入 38 美元/小时,80% 利润率,81 天投资回报。引擎基于 vLLM 并添加缓存优化,但 KV 缓存管理和负载均衡组件未完全开源。vLLM 团队报告在 GB200 上解码吞吐量与 DeepInfer 相近。

  7. AWS Machine Learning Blog38

    Amazon Quick 和 Amazon Bedrock AgentCore 如何实现供应链的对话式智能决策

    Amazon Quick 结合 Amazon Bedrock AgentCore 为供应链团队提供跨系统实时数据访问,用户可通过对话式提问在 seconds 内获取跨系统答案,如识别受港口关闭影响的高收入 SKU 及成本。Quick 作为界面层,AgentCore 作为智能层,通过 MCP 协议连接 ERP、监控、采购等后端系统,实现从问题发现到生成应急采购请求的完整流程,所有操作需人工确认。

  8. The Decoder72

    Mistral AI 发布实时语音智能体全栈 Voxtral 3

    Mistral AI 发布实时语音智能体全栈 Voxtral 3,包含语音转文本模型(Voxtral Small Transcribe 3)、文本转语音模型(Voxtral Mini TTS 3)及基于 LiveKit 的语音智能体 SDK。

    同一件事 · 2 家

    各家口径不同:The Decoder 提到文本转语音模型(Voxtral Mini TTS 3),而第一份报告没有详细说明。

  9. The Decoder72

    DeepSeek 开源推理引擎 DeepInfer,支撑 V4.1-Flash 高速低成本运行

    DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer,该框架是支撑 V4.1-Flash 模型大规模快速出答案的服务软件。