跳到正文
实时
10月21日周三
  1. IBM Research Blog

    IBM vLLM-Hook MIA 插件实现快速运行时监控与控制

    IBM 发布 vLLM-Hook MIA 插件,在 vLLM 推理引擎中实现运行时监控与控制,速度比前身 vLLM-Hook 快 20 倍、比模型内插入代码的类似方法快 14 倍,延迟仅增加 2%-6%。该插件允许开发者实时观察和调整模型状态,如拒绝恶意提示、标记幻觉事实或编辑响应语气与准确性,同时几乎不降低性能。

  2. NVIDIA Blog42

    欧洲领导者采用 NVIDIA Vera CPU 构建本地基础设施。

    Nebius 和 Nscale 等全球科技合作伙伴计划使用 NVIDIA Vera CPU 构建下一代基础设施,以应对智能体计算的快速发展需求。Vera CPU 通过加速智能体信息检索、软件工具运行、代码执行和结果评估等任务,提升响应速度并优化数据中心计算能力,支持数千任务并行运行时仍保持高效。

  3. Databricks Blog

    Databricks AI Runtime 正式发布

    Databricks 发布 AI Runtime (AIR),将托管 GPU 基础设施直接引入其平台,让客户能在企业数据所在地训练高需求模型。AIR 提供 GPU 基础设施、开发者工具和数据治理功能,支持大规模训练、快速迭代和负载安全,客户无需管理独立的 GPU 堆栈。

  4. AWS Machine Learning Blog38

    Amazon Quick 和 Amazon Bedrock AgentCore 如何实现供应链的对话式智能决策

    Amazon Quick 结合 Amazon Bedrock AgentCore 为供应链团队提供跨系统实时数据访问,用户可通过对话式提问在 seconds 内获取跨系统答案,如识别受港口关闭影响的高收入 SKU 及成本。Quick 作为界面层,AgentCore 作为智能层,通过 MCP 协议连接 ERP、监控、采购等后端系统,实现从问题发现到生成应急采购请求的完整流程,所有操作需人工确认。

  5. LangChain Deep Agents releases25

    LangChain Deep Agents 0.1.87 发布

    LangChain Deep Agents 0.1.87 发布,支持非交互模式下恢复线程、在提示缓存过期前压缩大型空闲会话、显示提示缓存过期时间、自定义 Slack OAuth 应用身份,并加载来自线程切换器的旧线程;修复本地服务器在所有者死亡时停止、`@` 提及中非 ASCII 文件名支持、`/reload` 变更摘要误导等问题。

  6. vLLM Blog60

    vLLM 首日支持 Recursive 的 Flint 模型

    vLLM 宣布在 Flint 发布当天提供支持,NVFP4 与 BF16 两个 checkpoint 均可在单张 GPU 上运行,单请求在单张 GB200 上、10 万 token 上下文下解码约 500 tokens/s。

    推荐理由: 原文给出了 Flint 在 vLLM 上的 day-0 支持、单卡吞吐数据和逐项内核优化过程,读者可据此判断小批量推理的工程取舍。

  7. vLLM Blog

    蚂蚁集团与 vLLM 社区开源 Humming:通用量化推理高性能内核库

    蚂蚁集团和 vLLM 社区开源 Humming,这是一款通用的高性能量化推理内核库。Humming 支持英伟达从图灵架构开始的 GPU 以及 T-Head Zhenwu 810E 等 CUDA 兼容设备,提供广泛的量化支持,涵盖多种整数和浮点类型、位宽和缩放方案,在多个代表性工作负载上显著优于 vLLM Marlin、FlashInfer 和 DeepGEMM 等现有实现。

  8. Google Developers Blog

    Agents CLI 扩展系统:支持跨框架的智能体开发生命周期

    Agents CLI 1.5.0 版本引入扩展系统,允许开发者无需修改工具即可覆盖或添加命令,支持跨框架使用;官方发布的 LangChain 扩展替换了与框架绑定的命令,保留其余生命周期功能;开发者可创建自定义扩展,如添加软件物料清单(SBOM)扫描的部署命令,企业平台团队可借此强制执行治理策略。

  9. Gemini CLI releases15

    Gemini CLI v0.65.0发布

    Gemini CLI v0.65.0发布,修复了23个问题,包括强制非受信文件夹的只读工作区设置、避免会话恢复时的重复工具响应、防止快速退出时删除恢复的会话历史记录等,并新增支持遥测配置中的自定义OTLP标头。

  10. Claude Code releases40

    Claude Code v2.1.305 发布

    Claude Code v2.1.305 发布,新增 sandbox.allowNestedUserNamespaces 支持 Linux 下用户命名空间创建,修复了 Vertex、Bedrock 等平台因工具搜索被拒绝导致请求失败的问题,以及 /effort 和 /autocompact 设置未生效等 Bug。

  11. Databricks Blog

    Databricks 推出 Agent Memory 增强智能体能力

    Databricks 推出 Agent Memory,通过存储关键事实、偏好和流程提升智能体质量、降低成本和延迟,支持在 Lakebase 上运行,目前处于 Beta 版本。Agent Memory 基于 Databricks 最新内存研究,采用 MemCurrent 架构,在内部基准测试中使智能体任务通过率提升三倍,同时减少 31% 的 token 使用量。

10月20日周二
  1. IBM Research Blog

    llm-d 1.0 发布:强化开源 AI 推理生产环境

    llm-d 项目宣布发布 1.0 版本,这是一个 Kubernetes 原生的分布式推理服务网络,支持在任何加速器上、任何云中部署任何模型的推理栈。该版本增强了多租户服务质量、零停机操作和智能体感知服务,以在常见生产操作中实现持续性能。通过前缀缓存感知路由和 KV 缓存卸载等技术,llm-d 1.0 可捕获 97% 的可用缓存重用,降低大规模 AI 服务的成本。