Anthropic 开源 FlashProve：用 zkSNARK 证明回复来自已承诺权重

Anthropic 的 Frontier Red Team 发布了 FlashProve，这是一个用于 可证明推理 的开源研究原型。FlashProve 是 Anthropic 的一个 zkSNARK 系统，它可以证明回复来自一个已提交的模型。该证明不会透露任何关于模型权重的信息。在 Llama 4 Maverick，一个 400B 混合专家模型上，它在 1 个 H100 上证明大约 110 个 token/秒。对于开发者来说，这针对了一个真正的差距：今天你无法检查哪个模型实际回答了你的 API 调用。

TL;DR

大小： 证明一个 400B MoE 模型 (~17B 每个token的活跃量)；上下文限制在每请求 1,024 个 token。
运行在： 证明者需要 1 个 H100 80 GB，24 个 CPU 核心，和 ~290 GB 主机 RAM。验证器在 CPU 上运行，不需要 GPU。
性能： 在同一个 400B 模型上，比之前的开源 zkML 系统快几个数量级。
最佳： 在 1 个 H100 上证明 110 个 token/秒，在 17 秒内检查了 18.78 MB 的证明。
最差： 证明成本约为普通 vLLM 推理的 70 到 95 倍的 GPU 时间。

可证明推理解决了什么问题？

查询模型的用户无法验证哪个模型生成了响应。一个路由服务可以替换一个更便宜的模型。攻击者可以篡改 token 流。仅根据输出质量来判断是不可靠的。

Anthropic 列出了 4 个用例：

监管机构可以确认硬件提供推理，支持 AI 节奏规则。
实验室可以检测被篡改的推理服务器。
用户可以验证文本来源。
监管机构可以强制只提供服务批准的模型。

FlashProve 是如何工作的？

FlashProve 有一个证明者（模型提供者）和一个验证器（用户）。它在 2 个阶段运行：

离线： 提供者发布一个承诺，一个短的指纹绑定一个确切的权重集。这大约需要 39 分钟，并覆盖大约 1600 万个请求。
在线： 对于每个请求，GPU 产生一个证明，证明已提交的模型生成了这些 token。

证明系统将交互式预言机证明编译为使用哈希函数的加密证明。Anthropic 表示这提供了后量子安全性。它是由 Starknet 等有效性证明 L2 网络使用的相同系列。

三个工程选择推动了速度。证明者工作按 ~17B 活跃参数缩放，而不是所有 400B。请求在事后按批次证明，类似于预填充。权重从主机内存流式传输，因此一个 80 GB 的 GPU 足够。

有多快？基准测试

Anthropic 在 1 个 H100 上使用 24 个 CPU 核心测量了公共 4 位 Maverick 权重。根据仓库性能指南：

批次 24：111.23 个 token/秒，每个批次约 221 到 226 秒。
批次 1：17.41 个 token/秒。批次 64：123.31 个 token/秒，在 80 GB 卡上标记为不可靠。
证明大小：18.78 MB。客户端每次承诺下载 ~6.5 MB。
验证：24 个线程上 17 秒，1 个线程上 21 秒。

与在 8 个 H100 上运行 FP8 Maverick 的 vLLM 相比，每批次证明成本约为 GPU 时间的 72 倍。在 vLLM 最高测试负载下，差距约为 94 倍。

FlashProve 与其他 zkML 系统相比如何？

指标	FlashProve	Attestable	VerInf	DeepProve	zkLLM
已证明的模型	Llama 4 Maverick (400B MoE)	Gemma 4 31B (密集)	Llama 4 Maverick (400B MoE)	GPT-2, Gemma 3	LLaMA-2-13B
吞吐量	~110 tok/s	53 到 77 tok/s	~0.02 tok/s (14.3 小时内处理 1,000 个 token)	~2.9 tok/s (GPT-2), ~1.4 tok/s (Gemma 3)	在 15 分钟内完成完整推理
硬件	1 H100 + 24 个 CPU 核心	1 H100	1 DGX Spark	1 台机器; 分布式 31 tok/s	GPU (CUDA)
证明大小	18.78 MB	4.35 到 7.92 MiB	93.6 GB	未公布	少于 200 kB
验证时间	17 秒 (24 个线程)	157 到 648 毫秒	17.7 小时 (20 个核心)	1 到 3.7 秒	未公布
上下文	1,024 个 token	最多 16K 个 token	1,000 个 token	未公布	未公布
代码 / 许可证	开放，Apache 2.0	非开源	开放，MIT	根据 Lagrange 的开源	论文 (CCS 2024)

如何进行安全检查？

密码学代码很脆弱，因此 Anthropic 在 Lean 中形式化了协议。它证明了完整性、可靠性和零知识。 README 声明，除了概率约为 q/2^124 + 2^-101 的情况下，作弊提供者会被捕获。

FlashProve 提供 2 个验证器。一个快速的 C++ 验证器用于日常使用，但不提供形式化保证。一个较慢的 Lean 验证器被证明只接受可靠性定理接受的证明。Anthropic 团队指出，Claude 帮助优化了系统。

关键要点

FlashProve 在 1 个 H100 上以 ~110 tokens/second 的速度证明 400B MoE 模型。
证明大小为 18.78 MB，并在 CPU 上 17 秒内验证。
证明成本约为 vLLM 推理 GPU 时间的 70 到 95 倍。
安全属性在 Lean 中形式化；权重保持隐藏。
目前限制为 1,024 个 token，贪婪解码，以及 MoE 模型。

查看 研究帖子，技术报告，协议规范 和 GitHub 仓库。此外，欢迎关注我们在 Twitter 上的动态，并加入我们的 15k+ML SubReddit 和订阅我们的简报。等等！你使用 Telegram 吗？现在你也可以加入我们的 Telegram。

需要与我们合作推广您的 GitHub 仓库 OR Hugging Face 页面 OR 产品发布 OR 网络研讨会等？联系我们

帖子 Anthropic 发布 FlashProve：证明回复来自承诺权重的密码学证明首次出现在 MarkTechPost。