vLLM 首日支持 Recursive 的 Flint 模型
vLLM 宣布在 Flint 发布当天提供支持,NVFP4 与 BF16 两个 checkpoint 均可在单张 GPU 上运行,单请求在单张 GB200 上、10 万 token 上下文下解码约 500 tokens/s。
推荐理由: 原文给出了 Flint 在 vLLM 上的 day-0 支持、单卡吞吐数据和逐项内核优化过程,读者可据此判断小批量推理的工程取舍。
vLLM 宣布在 Flint 发布当天提供支持,NVFP4 与 BF16 两个 checkpoint 均可在单张 GPU 上运行,单请求在单张 GB200 上、10 万 token 上下文下解码约 500 tokens/s。
推荐理由: 原文给出了 Flint 在 vLLM 上的 day-0 支持、单卡吞吐数据和逐项内核优化过程,读者可据此判断小批量推理的工程取舍。
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新,新增 torch.float8_e4m3fn 张量与 F.scaled_mm,FP8 张量占用为 BF16 的一半。
推荐理由: 原文给出 MPS 后端在 FP8、MoE 解码和显存占用上的具体数字,可据此判断 Mac 本地跑模型的实际变化。
LangChain 公开其付费媒体智能体的构建方法,该智能体运行在 Slack 中,每周汇总广告平台与仓库数据并生成报告,付费媒体在六个月内从贡献 0 提升到营销管道的 20%,单条合格线索成本在 6 月至 8 月下降 30%。
推荐理由: LangChain 公开付费媒体智能体的完整工程细节,包括上下文分层、工具按需发现和子智能体隔离,可作为自建长时运行智能体的参考。
LangSmith LLM Gateway 进入公测,作为智能体与模型之间的集中治理层,统一执行花费上限、限流、模型回退和敏感数据脱敏。花费与限流可按组织、工作区、API key 和用户四级设置,命中上限时智能体收到 402 响应;回退规则可跨模型与托管商统一生效。
推荐理由: 原文列出了网关在成本、限流、回退和数据脱敏上的具体控制层级,可帮助判断生产智能体的治理该放在哪一层。
LangChain 在 LangSmith Cloud 上线 Managed Deep Agents 公测,用户把智能体写成由 agent.py、instructions.md、skills/ 等文件组成的 Python 项目,用 mda deploy 一条命令部署,由 LangSmith Agent Server 提供持久线程与流式运行。
推荐理由: 原文说明了把智能体项目按文件组织并一键部署到 LangSmith 的方式,以及托管运行时替团队承担的基础设施。
Anthropic 在 Claude Platform 上线托管服务 Managed Agents,把智能体拆成 session、harness 和 sandbox 三个可独立替换的接口,用来运行长周期任务。
推荐理由: Anthropic 公开了托管智能体的架构取舍,读者可看到把会话、harness 与沙箱拆开后,延迟与安全边界如何变化。