跳到正文
实时
10月21日周三
  1. IBM Research Blog

    IBM vLLM-Hook MIA 插件实现快速运行时监控与控制

    IBM 发布 vLLM-Hook MIA 插件,在 vLLM 推理引擎中实现运行时监控与控制,速度比前身 vLLM-Hook 快 20 倍、比模型内插入代码的类似方法快 14 倍,延迟仅增加 2%-6%。该插件允许开发者实时观察和调整模型状态,如拒绝恶意提示、标记幻觉事实或编辑响应语气与准确性,同时几乎不降低性能。

  2. NVIDIA Blog42

    欧洲领导者采用 NVIDIA Vera CPU 构建本地基础设施。

    Nebius 和 Nscale 等全球科技合作伙伴计划使用 NVIDIA Vera CPU 构建下一代基础设施,以应对智能体计算的快速发展需求。Vera CPU 通过加速智能体信息检索、软件工具运行、代码执行和结果评估等任务,提升响应速度并优化数据中心计算能力,支持数千任务并行运行时仍保持高效。

  3. 量子位

    清华AIR孵化紫荆智康:多智能体协同重构医疗AI,医生AI分身“坐诊”医院

    紫荆智康的“紫荆AI医院”系统已在全国医院测试,医生可拥有AI分身,并通过多分身智能体协同技术实现跨科室协作。AI分身能在虚拟环境中模拟诊疗,结合真实病例进行进化,医生可参考不同分身建议做出判断。系统在MedQA数据集准确率达96%,已在北京清华长庚医院18科室测试,诊疗效率提升30%。

  4. Databricks Blog

    Databricks AI Runtime 正式发布

    Databricks 发布 AI Runtime (AIR),将托管 GPU 基础设施直接引入其平台,让客户能在企业数据所在地训练高需求模型。AIR 提供 GPU 基础设施、开发者工具和数据治理功能,支持大规模训练、快速迭代和负载安全,客户无需管理独立的 GPU 堆栈。

  5. NVIDIA Technical Blog75

    NVIDIA Sentry:运行时安全 AI 智能体框架

    NVIDIA Sentry 框架通过在 AI 智能体运行时外部监控,防止其绕过安全边界。该框架可监控智能体使用的工具、凭证和服务,确保其完成目标时不会破坏安全控制。NVIDIA Sentry 作为安全软件框架,专为保护 AI 智能体设计,避免智能体自身篡改或禁用监控机制。

  6. Latent Space

    DeepSeek DeepInfer 开源 SOTA 推理引擎:每日处理 155T tokens/集群,日创利 220 万美元,80% 利润率,81 天投资回报

    DeepSeek 发布开源推理引擎 DeepInfer,支持分布式推理、推测解码等,单集群每日处理 155T tokens,96% 输入缓存命中率,单卡时程收入 38 美元/小时,80% 利润率,81 天投资回报。引擎基于 vLLM 并添加缓存优化,但 KV 缓存管理和负载均衡组件未完全开源。vLLM 团队报告在 GB200 上解码吞吐量与 DeepInfer 相近。

  7. The Decoder72

    Mistral AI 发布实时语音智能体全栈 Voxtral 3

    Mistral AI 发布实时语音智能体全栈 Voxtral 3,包含语音转文本模型(Voxtral Small Transcribe 3)、文本转语音模型(Voxtral Mini TTS 3)及基于 LiveKit 的语音智能体 SDK。

    同一件事 · 2 家

    各家口径不同:The Decoder 提到文本转语音模型(Voxtral Mini TTS 3),而第一份报告没有详细说明。

  8. The Decoder72

    DeepSeek 开源推理引擎 DeepInfer,支撑 V4.1-Flash 高速低成本运行

    DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer,该框架是支撑 V4.1-Flash 模型大规模快速出答案的服务软件。

  9. TechCrunch · AI55

    Yelp 推出 Check for Me 功能,可代用户致电餐厅查询等候时间

    Yelp 新增 Check for Me 功能,用户可在应用内输入人数和电话,由AI代理致电餐厅查询等候时间并短信告知结果;同时更新AI助手整合 OpenTable 支持预订,并增强个性化与历史记录功能;推出付费产品 Smart Lead Reply 帮助商家自动回复客户并筛选潜在客户,每月收费30美元。

  10. TechCrunch · AI55

    ChatGPT现在允许锁定对话以保护隐私

    OpenAI允许用户锁定ChatGPT对话以保护敏感信息,可使用四位数PIN或生物识别技术。锁定对话不会创建端到端加密或独立加密库,但会将其移至专用“锁定对话”区域,与常规聊天历史隔离,且不会影响模型改进设置。该功能适用于ChatGPT Free至Enterprise计划,但暂不适用于ChatGPT Healthcare,目前正逐步上线。

  11. TechCrunch · AI

    Google 发布开源 PyTorch 版本 TorchTPU 攻击 Nvidia AI 开发者生态

    Google 宣布其备受期待的 PyTorch 版本 TorchTPU 已作为开源项目发布,让 AI 应用开发者可将其应用运行在 Google 的 Tensor Processing Units (TPUs) 芯片上。

    同一件事 · 2 家

    各家口径不同:MarkTechPost 表示 TorchTPU 是为云 TPU 设计的原生 PyTorch 后端,旨在取代 PyTorch/XLA 并支持 eager-first 执行;TechCrunch 提到它是对 Nvidia AI 开发者生态系统的攻击。

  12. LangChain Deep Agents releases25

    LangChain Deep Agents 0.1.87 发布

    LangChain Deep Agents 0.1.87 发布,支持非交互模式下恢复线程、在提示缓存过期前压缩大型空闲会话、显示提示缓存过期时间、自定义 Slack OAuth 应用身份,并加载来自线程切换器的旧线程;修复本地服务器在所有者死亡时停止、`@` 提及中非 ASCII 文件名支持、`/reload` 变更摘要误导等问题。

  13. Ollama releases20

    Perplexity 发布 v0.40.7 Ollama 版本

    Perplexity 发布 Ollama v0.40.7 版本,包含 27B 决策模型 pplx-decider(源自 Qwen3.8-27B 微调),修复了多模型对话、流式响应和远程模型路由中的问题,新增模型渲染器、解析器和模板来源的 API 支持,部分草稿模型开始支持推测解码。