MarkTechPostNsight Python 教程：如何分析 GPU 内核性能
使用 Nsight Python（NVIDIA 开源 Python 接口）分析 GPU 内核性能，通过 `nsight.annotate` 标记代码、`nsight.analyze.kernel` 装饰函数，获取每段代码的硬件指标 DataFrame。
实时
#推理
- MarkTechPost
Browser Use3838Browser Use Cloud MCP 服务器与开源 MCP 服务器介绍
Browser Use Cloud MCP 服务器通过 API V3 在云端浏览器运行代理，提供 11 种模型选择，支持 10 并行任务，每分钟计费约 0.02 美元，但仅支持 API V3 且无 GPT-6 Luna；其开源版本 Browser Use open-source MCP 免费本地运行，含 16 种直接控制工具，可自定义模型，适合长任务。
- MarkTechPost
Recursive 发布开源 40B 模糊模型 Flint，专为智能体设计
Recursive 发布开源 40B 模糊模型 Flint，2.5B 活跃参数，在 50B 以下 MoE 模型中表现最佳，支持推理和 OpenAI 兼容工具调用，4 位权重约 23GB，SWE-bench Verified 74.2%。
AWS Machine Learning Blog使用 Strands Agents 的自适应智能体框架
自适应智能体框架 (AAIF) 使用 Strands Agents，通过本地小语言模型 (SLMs) 处理常规任务，复杂请求则路由至 Amazon Bedrock 云模型，降低成本并保持低延迟。
The Verge · AI6565Anthropic 发布 Claude Duet AI 智能体
Anthropic 发布面向专业人士和小企业主的 AI 智能体 Claude Duet，作为研究预览推出，支持 iOS 和 Android 独立应用及网页版，基于 Claude Opus 5.5 构建，可发送每日摘要、监控应用并处理任务，具备浏览器虚拟机及安全系统，当前为早期版本且需付费订阅。
- The Verge · AI
沃尔玛邀请 AI 智能体为其网站购物
沃尔玛将允许用户连接自己的 AI 智能体为其网站购物，用户可批准和审查购买并设置消费限额。智能体将连接到新的“智能体档案”中，默认所有购买需用户批准，但也可设置预算（如最高 100 美元）。沃尔玛将建立“智能体网关”，通过 Model Context Protocol 连接智能体，防止其访问用户购物历史和个人信息。
Hugging Face Blog精选7878NVIDIA 发布 Kumo Relational 关系型基础模型，无需训练即可预测
NVIDIA 发布预训练关系型基础模型 Kumo Relational，可直接在企业数据库上做预测，无需任务特定训练、特征工程或表展平。模型在 15 个数据库的 41 个任务上超过监督式关系深度学习和专家特征工程梯度提升树，在 SAP SALT 基准上 MRR 比 AutoGluon 集成高 8%。
推荐理由: 原文给出预训练关系模型在 41 个任务上的对比结果与开源入口，读者可据此判断它能否替代现有 XGBoost 流水线。
PyTorch BlogFlyDSL 通过现有 PyTorch API 加速 AMD MI350 系列显卡计算
PyTorch 用户可在 AMD MI350 系列显卡上通过 FlyDSL 使用现有算子 API 加速密集和分组 GEMM、融合多头注意力、MXFP8/MXFP4 缩放 GEMM、RMSNorm 和 TopK，无需调用自定义内核
Google ResearchGoogle Research 发布 AI 辅助超声技术赋能基层孕产妇护理
Google Research 发布的 AI 模型在 JAMA Network Open 上验证，其通过盲扫超声技术评估孕期周数（gestational age）的准确性。
- Hugging Face Blog
Hugging Face 介绍 TorchNeuron 在 AWS Trainium 上的系统级性能分析
Hugging Face 介绍了如何使用 TorchNeuron 在 AWS Trainium 上进行系统级推理性能分析，通过 torch.profiler 配置 Neuron 后端捕获干净 traces，并利用 key_averages() 表识别耗时操作。
- Hugging Face Blog
如何通过专精SLM词汇表在真实应用中将推理成本降低77%。
Qwen3-4B的专精词汇表VocabX通过聚焦每个token的成本而非频率，在不改变基础模型的情况下将推理成本降低77%。该方法针对葡萄牙语作文评分器，将输出层词汇表从约152,000行缩减至约65,000行，显著减少token分割和未使用词汇项的计算开销。
Baseten Blog同一件事 · 2 家5858Baseten 发布全球顶尖决策模型 mammoth-1 和 elephant-1
Baseten 发布全球顶尖决策模型 mammoth-1（27B）和 elephant-1（9B），分别位列 Jev 决策指数 0.4 第 1 名和 9B 决策模型第 1 名。两者均开源，可在 Baseten 模型 API 上免费试用一周（默认零数据保留）。
The Decoder5353Inception Mercury 3 如何以更少等待时间击败 GPT-6 Luna 和 Claude Haiku 5.5
Inception 的扩散语言模型 Mercury 3 在 12 项基准测试中 8 次领先，在 SWE-Bench Atlas 上以 51.08 分击败 GPT-6 Luna 和 Claude Haiku 5.5。该模型在 Nvidia GPU 上以每秒 1,068 tokens 的速度运行，比竞争对手快 4-8 倍，且支持 100 万 tokens 的上下文窗口。
Trail of BitsTrail of Bits 发布 patching-bugs 和 regression-hunt 插件让工程师委托 AI 修复 Bug 和回归测试
Trail of Bits 发布 patching-bugs 和 regression-hunt 插件，让工程师可委托 AI 修复 Bug 和回归测试。patching-bugs 插件可复现 Bug、开发修复方案并测试，regression-hunt 插件则检查变更是否破坏已有功能。regression-hunt 相比基准 Codex 代理减少 25% 假阳性结果。
Ollama releases3535Ollama v0.40.8-rc0 发布：新增对 Flint 模型的支持
Ollama v0.40.8-rc0 发布，新增对 Flint 模型的支持，通过保留源工具 JSON 和解码 API 值使 Flint 能在提示中维持数值类型和模式顺序，同时保持现有 API 序列化不变。
- The Decoder4747
Mistral 与 Nvidia 如何利用物理 AI 加速工业设计
Mistral 与 Nvidia 联手将 Mistral Large 4 与物理 AI 结合 CUDA-X、Warp 和 Omniverse，为航空航天、汽车和半导体行业提供设计、仿真与 AI 训练的一体化工作流。Mistral Large 4 拥有约一万亿参数，基于 3800 块 Grace Blackwell GPU 训练，计划于 10 月底作为开源权重模型发布。
蚂蚁 inclusionAI · Hugging Face 新模型3535inclusionAI/Ling-3.0-tiny-UBTree 发布：基于 UBTree 技术的微调模型
inclusionAI 发布 Ling-3.0-tiny 的 UBTree 技术微调版本 Ling-3.0-tiny-UBTree-B16，参数量 183.1M，结合五层 DFlash 主干和 bigram 选择器，在 GSM8K、MATH-500 等基准上实现 2.6-3.5 倍速度提升。该模型需与目标模型配合使用，UBTree 适配 SGLang 的开源版本尚未发布。
- Hugging Face Blog5858
NVIDIA 发布 Kumo Forecast 时序预测模型，结合预训练表示与历史模式检索
NVIDIA 发布多变量时序预测模型 Kumo Forecast（原 NV-Tesseract Forecasting），以 MOMENT-1-large 为骨干，约 3.4 亿参数编码器加可训练预测头，编码器与嵌入层权重冻结。
Latent SpaceClaude Mods：重塑智能体与人类交互的注意力接口
Anthropic 发布 Claude Mods，允许用户通过 TypeScript 或 JavaScript 函数自定义 Claude Code 的行为与界面，实现注意力接口的个性化编程。
Modal Blog7575Modal Dojo：轻松开启生产级 LLM 训练的库
Modal Dojo 是一个用于轻松进行生产级 LLM 训练的库，支持从半亿到万亿参数模型，提供自动优化训练配方和内置可观测性仪表盘。用户可通过简单提示选择模型、加载数据并开始训练，支持 Hugging Face、Harbor 环境等数据源，并可通过参数调整配方。
IBM Research BlogIBM vLLM-Hook MIA 插件实现快速运行时监控与控制
IBM 发布 vLLM-Hook MIA 插件，在 vLLM 推理引擎中实现运行时监控与控制，速度比前身 vLLM-Hook 快 20 倍、比模型内插入代码的类似方法快 14 倍，延迟仅增加 2%-6%。该插件允许开发者实时观察和调整模型状态，如拒绝恶意提示、标记幻觉事实或编辑响应语气与准确性，同时几乎不降低性能。
NVIDIA Blog精选6262NVIDIA 扩展开放模型家族，覆盖语言、机器人、生物与量子计算
NVIDIA 扩展其开放模型家族，覆盖语言、机器人、生物和量子计算，包括新的 Nemotron 3.5 Super VL 与 Nemotron 3.5 Bolt。
推荐理由: NVIDIA 一次性铺开语言、机器人、生物、量子四条线的开放模型，读者可据此判断其开源生态的覆盖范围。
Mistral AI5050Mistral 与 NVIDIA 合作推动工程领域 AI 发展
Mistral 与 NVIDIA 合作将 AI 模型与 NVIDIA 加速计算和物理建模工具整合，加速工程模拟并实现闭环 AI 驱动设计。合作将推出公共基准和开放数据集，标准化物理和智能体 AI 在计算机辅助工程中的评估，并利用 NVIDIA Omniverse 进行 3D 模拟和资源创建。
- NVIDIA Blog5555
NVIDIA 机密计算扩展，为前沿模型构建者提供跨全球基础设施的安全扩展能力
NVIDIA Confidential Computing 通过硬件根隔离和加密认证保护模型和数据执行，新增 Confidential Bare Metal 部署选项，使前沿模型构建者能在第三方基础设施上运行敏感工作负载并保留模型数据控制权。
- NVIDIA Blog5858
NVIDIA 欧洲合作伙伴扩展计算能力，构建主权、开放且安全的 AI 智能体云生态
NVIDIA 欧洲合作伙伴正扩展区域计算能力，支持模型训练与推理，帮助开发者构建 agentic 和物理 AI 应用。Nscale 使用 NVIDIA DSX 平台实现 37% 更多 GPU 和 50% 更高推理吞吐量，Crusoe 开发液冷 AI 工厂支持低延迟推理，Nebius 采用 NVIDIA Groq 3 LPX 加速敏感应用。
- NVIDIA Blog
NVIDIA 展示本地 AI 硬件全阵容：RTX Spark、DGX Spark 及 DGX Station 助力下一代智能体
NVIDIA 在 GTC Berlin 上展示了其本地 AI 硬件全阵容，RTX Spark 已上线支持 Windows PC 上的个人智能体，DGX Spark 支持开发者构建和扩展 Linux 应用，DGX Station 则为 Linux 企业团队运行前沿工作负载，Windows 版将于 12 月推出。
Databricks BlogDatabricks AI Runtime 正式发布
Databricks 发布 AI Runtime (AIR)，将托管 GPU 基础设施直接引入其平台，让客户能在企业数据所在地训练高需求模型。AIR 提供 GPU 基础设施、开发者工具和数据治理功能，支持大规模训练、快速迭代和负载安全，客户无需管理独立的 GPU 堆栈。
NVIDIA Technical Blog6565NVIDIA OpenShell Reference Architecture 如何在规模化中保障 AI 智能体工作负载的安全与治理
NVIDIA OpenShell Reference Architecture 通过定义安全边界和治理策略，在规模化中保障 AI 智能体工作负载的安全。该架构支持智能体在执行复杂任务时访问文件、工具和互联网，并能动态协作。架构通过强化访问控制、审计日志和权限管理，降低智能体长时间运行带来的风险。
- Latent Space
DeepSeek DeepInfer 开源 SOTA 推理引擎：每日处理 155T tokens/集群，日创利 220 万美元，80% 利润率，81 天投资回报
DeepSeek 发布开源推理引擎 DeepInfer，支持分布式推理、推测解码等，单集群每日处理 155T tokens，96% 输入缓存命中率，单卡时程收入 38 美元/小时，80% 利润率，81 天投资回报。引擎基于 vLLM 并添加缓存优化，但 KV 缓存管理和负载均衡组件未完全开源。vLLM 团队报告在 GB200 上解码吞吐量与 DeepInfer 相近。
- AWS Machine Learning Blog5858
vLLM 通过双向 KV 传输提升多轮智能体工作负载的 TTFT 性能
vLLM 的双向 KV 传输机制通过让解码节点在后续对话回合中返回先前计算的 KV 缓存给预填充节点，减少了重复计算，在 AWS EC2 P5en 实例上的多轮基准测试中将 Qwen3-32B 的 TTFT 提升了 1.6 倍，zai-org/GLM-5-FP8 提升了 3.3 倍。该功能通过扩展 NIXL KV 连接器实现，并利用 KV 缓存感知路由器协调跨对话回合的 KV 重用。
- AWS Machine Learning Blog4949
vLLM 推出基于推送的 KV 传输以提升分散推理的 TTFT 和 TPOT
vLLM 引入基于推送的 NIXL 连接器，通过将后预填充传输协调和设置移出关键路径，减少时间到第一个 token (TTFT) 和每个输出 token 的时间 (TPOT)，提升应用响应性。
- AWS Machine Learning Blog3232
Deepgram 如何借助 AWS Trainium2 优化语音 AI 性能
Deepgram 通过 AWS Trainium2 将 Nova-3 语音识别模型部署到 PyTorch，在单个 trn2.3xlarge 实例上运行 8 个副本，处理离线批处理工作负载时每美元可处理 11-70% 更多音频，并使用 NKI 库和 Neuron Explorer/NAD 工具链进行内核级调优，提升推理效率。
- AWS Machine Learning Blog5858
TwelveLabs 的 Pegasus 1.5 现已可在 Amazon Bedrock 上使用
TwelveLabs 的 Pegasus 1.5 视频语言模型现已在 Amazon Bedrock 上提供，可将长视频转换为结构化、带时间戳的元数据，支持基于用户定义标准分析整个视频并返回匹配片段的 JSON 数据，分析时长扩展至每请求两小时，无需预索引且数据保留在 AWS 边界内。
- AWS Machine Learning Blog3434
开发者可通过新 AWS 体验访问 SageMaker Studio
新 AWS 体验让新 SageMaker AI 客户在注册后只需几步即可进入完全配置的 SageMaker Studio 环境，无需设置高级 AWS 账户或手动配置环境，新客户还可获得 100 美元的 AWS Free Tier 信用额度。
- AWS Machine Learning Blog3434
在 AWS 上使用 AtScale 和 Amazon Bedrock AgentCore 构建语义层以支持智能体 AI
AtScale 作为语义层，通过 Semantic Modeling Language (SML) 在 Amazon Redshift 上构建维度模型，支持 Amazon Bedrock AgentCore 中的 Strands 智能体，实现跨系统 Customer 360 分析。
- AWS Machine Learning Blog3434
在 AWS 上使用 Strategy Mosaic 和 Amazon Bedrock AgentCore 构建 AI 智能体语义层
Strategy Mosaic 作为语义层，通过两个链接模型在 Amazon Redshift 和 Amazon Aurora 上无 ETL 地建模 C360 领域，其度量语法捕获智能体推理的业务定义，并通过 Mosaic MCP 服务器向 AgentCore 托管的 Strands 智能体暴露模型，支持用户身份传递以实现端到端行级和对象级安全。
- AWS Machine Learning Blog4040
Eon 如何在 Amazon Bedrock AgentCore 上构建多云调查平台
Eon 使用 Amazon Bedrock AgentCore Gateway 替代了本地 Model Context Protocol (MCP) 服务器，将跨 AWS、GCP 和 Azure 的操作工具访问整合为单一认证网关，使新工程师调查工具配置时间从 2 天缩短至 2 分钟。
- AWS Machine Learning Blog4848
使用 X.509 PKI 在 AWS 上保护 AI 智能体身份
Keyfactor EJBCA 与 AWS 服务结合，通过 X.509 公钥基础设施 (PKI) 为 AI 智能体提供身份认证，解决 MCP 连接外部工具时缺乏内置认证标准的问题。
- AWS Machine Learning Blog3131
在加拿大通过 Amazon Bedrock 使用 OpenAI GPT 模型并实现跨区域推理
加拿大组织可通过 Amazon Bedrock 在加拿大 (Central) 和加拿大西 (Calgary) 区域使用 OpenAI GPT-5.6、GPT-6 和 GPT-6.1 模型，实现跨区域推理。
- AWS Machine Learning Blog3838
Octave 如何在 Amazon Bedrock 上构建安全的多人租户 AI 基础设施
Octave Reliance 团队为解决监管行业质量管理的知识孤岛问题，在 Amazon Bedrock 上构建了基于 Cohere Embed v4 的三层安全多人租户 AI 基础设施，将部署时间缩短 50%。
