跳到正文
实时
#推理
11月9日周一
  2. Latent Space65

    斯坦福大学如何教授 AI 原生工程 — Mihail Eric 与 Monaco 的实践

    斯坦福大学 CS146S 课程的第二次运行将开源维护者引入教学，要求学生学习陌生代码库、提出变更并解释补丁。Mihail Eric 教授分享了课程大纲，展示了哪些课程内容经受住了他自身工程团队的考验。Monaco 公司构建了其智能体工作空间，采购了代码审查工具，并为值班智能体授予了 Datadog 和 GitHub 的访问权限。

  3. Hacker News · 300+ 热帖78

    llama-modchip 使 284B DeepSeek-V4-Flash 在 64GB 内存无 GPU 运行

    llama-modchip 发布了一组 ggml/llama.cpp 内核补丁与量化转码工具，将 284.33B 的 DeepSeek-V4-Flash 压缩到 56.56 GiB（1.71 bpw），可在 64 GB 内存的纯 CPU 机器上运行，256K 上下文下峰值内存 57.61 GiB 且无需 swap。

    推荐理由: 项目给出了在 64 GB 内存上运行 284B MoE 的量化方案与内核补丁，并附各硬件实测数据，可据此判断纯 CPU 部署的可行边界。

11月8日周日
  1. 量子位42

    高通在进博会展出端侧MoE智能体 终端侧AI从单点应用走向智能体体验

    高通在第九届进博会展出端侧MoE智能体，推动终端侧AI从单点应用走向智能体体验。MoE技术通过混合专家模块提升端侧模型智能水平，在20亿至30亿参数规模下实现更高复杂度任务完成度。高通与Infris AI、江波龙、阶跃星辰合作优化模型、推理、存储和芯片平台，展示终端侧AI生态协同的系统性方案。

  5. MarkTechPost38

    MoE 路由策略详解：Top-K、专家选择、Sigmoid 门控和动态路由（2026 指南）

    MoE 路由策略决定每个 token 由哪些专家处理，影响模型质量、负载均衡和部署成本。Mixtral 使用 Softmax Top-K 选择 2-8 个专家，DeepSeek-V4-Pro 选择 384 个中的 1-8 个，通过 Sigmoid 门控和辅助损失实现负载均衡，其中 Sigmoid Scoring 配合无损失的偏差平衡是 2026 年前沿开放模型的常用方案。

  8. IT之家 · AI65

    索尼首发“融合双路视觉信息的车载乘客眩晕检测”技术

    索尼在进博会上全球首发“融合双路视觉信息的车载乘客眩晕检测”技术，通过分析车前道路画面与后排屏幕内容预测乘客眩晕程度，评估结果可用于提示驾驶员减少急刹急转或为内容平台推荐视觉变化缓和的内容。该方案复用 ADAS 前视摄像头，无需新增后排摄像头。

  9. MarkTechPost65

    如何使用 llama.cpp 运行 NVIDIA Dory 4B：逐层指南

    使用 llama.cpp 运行 NVIDIA Dory 1.0 4B 模型，该模型通过重复中间层计算实现推理增强，每个额外循环增加计算量但不增加参数。构建指定分支的 llama.cpp，下载 3.7 GB GGUF 文件，分析每层循环的参数和缓存消耗，测试解码速度和缓存影响，并在 GSM8K 上评估精度、答案长度和推理时间随循环次数的变化。

11月7日周六
  2. MarkTechPost60

    Buoyant 发布 Kinference：一个开源的 Kubernetes 和 vLLM 推理控制平面

    Buoyant 发布了 Kinference，一个开源的 Kubernetes 和 vLLM 推理控制平面，其当前版本为 v0.1.0-alpha.7。它通过路由策略、token 速率限制、KV 缓存感知负载均衡和按租户的指标，在 vLLM 工作节点前进行请求分发。在基准测试中，针对共享前缀工作负载，中位数 TTFT 从 6.88 秒降至 0.31 秒（95%）。

  3. Hugging Face Daily Papers65

    Drex 开源决策模型发布

    Drex 开源决策模型返回用户选项的概率分布，无需自回归解码，采用监督微调、RLAF 和一致性损失提升准确率、鲁棒性和延迟性，其 35B 参数的 Max 版本在 Decision Index 0.4.1 上达到 67.52 分的行业最佳成绩，且响应时间仅为 GPT-6 Sol 的 9% 和 Claude Opus 5.5 的 5%。

  4. IT之家 · AI62

    Anthropic 尚未发布 AI 模型助攻克量子计算重大难题

    Anthropic 尚未发布的 AI 模型助物理研究机构 PSI 证明阿伦森－安拜尼斯猜想，该猜想自 2008 年提出以来未获解决，涉及量子计算机何时能超越传统计算机的运算速度。PSI 开发的基于该模型的研究系统仅用三天完成证明，证实量子优势依赖问题特殊规律。此前 OpenAI 已用 AI 解决纳维－斯托克斯方程难题。

  5. 量子位66

    AFK AI Comma 如何实现连续上下文与多Agent并行协作

    AFK AI 的 Comma 产品通过单 Router+多 Worker 架构实现了连续上下文与多 Agent 并行协作，用户可通过一个对话入口调度多个 Agent 处理海量信息，解决了人类注意力有限的问题。Comma 支持跨 App 接活、派活、交活，并具备主动发现问题和持续学习的能力，其分布式 Agent 运行框架 Salix 可接入微信、Signal 等多平台，实现信息流统一管理。

  7. Hacker News · 300+ 热帖60

    一个能请求 Opus 帮助的 Jev 可让 Opus 准确度以 4 倍低成本实现

    Jev 和 Luna 模型在身份解析结果评分上表现尚可（88.8–97.3% 准确率），但 Jev+Opus 混合模型达到前沿准确率的同时成本降低 4 倍。Luna 初始表现优于 Jev，但在复杂案例中差距消失；Jev 的置信度校准更佳，其错误多伴随低置信度，而 Luna 错误多伴随高置信度。

  12. The Decoder65

    递归智能发布开源模型 Ripple-65B Preview，在编码基准中表现优异

    Ripple-65B Preview 在 TerminalBench 2.1 编码基准中取得 80.52 分，成为开源美国模型中的最佳成绩。该模型基于 12 万亿 tokens 预训练，使用密集 Transformer 架构，参数量 65B，并针对 Nvidia 硬件优化，部署成本较低，总研发费用仅 3200 万美元。模型在 Hugging Face 上以 Apache 2.0 许可证开源。

    同一件事 · 4 家
  15. AWS Machine Learning Blog42

    AWS 发布无服务器 MCP 服务器，用于在 Amazon ECS Fargate 上访问 AI 代理数据湖

    AWS 为解决 AI 应用中 LLM 代理访问企业数据湖的集成挑战，在 Amazon ECS Fargate 上推出无服务器 Model Context Protocol (MCP) 服务器。该服务器通过元数据驱动的方式实现配置化数据湖访问，无需为每个数据集编写集成代码，并支持多租户环境下的弹性扩展。

  16. AWS Machine Learning Blog

    AWS Quick 中的智能体原语分类

    AWS Quick 将智能体工作分解为"何时"、"何事"、"何人"、"如何"四个原语，通过触发器启动任务、智能体执行并使用能力（工具、技能、工作流）完成工作。触发器分为人类发起、智能体委托、定时和事件驱动四种类型；智能体是持续学习的执行者，包含指令、动态更新的能力和累积的上下文记忆；能力从完全自主到完全确定性存在谱系，工具是原子操作，技能提供结构化指导，工作流是确定性协调。

  17. AWS Machine Learning Blog58

    Amazon SageMaker Inference 现支持多实例 GPU 以最大化 GPU 利用率

    Amazon SageMaker Inference 现支持 GPU 分区，通过 NVIDIA 多实例 GPU (MIG) 将物理 GPU 划分为独立分区，每个分区获得固定份额的 GPU 计算单元和专用内存块，实现隔离。部署更多模型且相互隔离，并按需选择合适大小的 GPU 单元以降低成本，最大支持每 GPU 7 个分区，无需自建 Kubernetes。

  20. OpenClaw Blog58

    OpenClaw 如何在不更新中集成新模型

    OpenClaw 优化了模型集成机制，无需更新即可接入新模型。它通过自更新模型目录 catalog.openclaw.ai、用户账户模型列表及本地 Codex 版本三种方式动态获取模型信息，解决了旧机制中因版本不匹配导致 GPT-6 Sol 等模型无法选用的痛点。新机制能实时反映模型可用性，并支持从用户账户列表和本地已安装 Codex 中选择模型，提升了模型可用性和用户体验。

  22. O'Reilly Radar22

    本周AI速览：进步的成本

    谷歌发布了用于网络安全和多步骤任务的Gemini 4 Carbon，法国Mistral公布了其1万亿参数的Large 4模型权重，DeepMind预览了模拟环境的Genie 4世界模型。

    同一件事 · 5 家
  25. AWS Machine Learning Blog38

    Taxbit Assist：基于 Amazon Bedrock AgentCore 的受权 AI 智能体

    Taxbit Assist 嵌入 Taxbit 仪表盘，通过 Amazon Bedrock AgentCore 运行，需用户身份验证。智能体检索 Amazon Bedrock 知识库中的候选段落并服务器端重排，回答需有来源佐证且符合角色权限，不提供税务建议。AgentCore 内存管理对话状态，支持区域数据驻留，符合 ISO/IEC 42001 标准。