Unemployment Labs 报告称 DeepSeek、Kimi、MiniMax、蚂蚁六款模型权重带有 Blackwell 硬件指纹
Chinese frontier AI models carry the fingerprint of export-controlled GPUs
Unemployment Labs通过分析公开模型权重中的随机数初始化布局,发现DeepSeek-V4-Flash、DeepSeek-V4-Pro、Kimi K3。
通过模型权重中的随机数布局反推训练硬件,为出口管制争议提供了可复现的技术取证路径。
执行摘要
我们的法医分析公开的AI模型发现证据表明,尽管对向中国出口这些芯片有限制,DeepSeek、Moonshot AI、MiniMax和蚂蚁集团已经获得了NVIDIA的Blackwell GPU,并且正在使用这些硬件来创建他们的AI模型。 自2026年4月以来,这些公司发布的六个模型包含与Blackwell硬件匹配的数字模式,而同一公司更早的模型则匹配NVIDIA的旧Hopper代。这些发现表明,几家中国领先的AI开发人员已经开始使用Blackwell来训练他们最新的模型。美国官员和新闻报道已经声称DeepSeek和Moonshot AI正在使用Blackwell芯片,但没有公布技术证据。
这些证据完全来自模型自己发布的权重,而不是来自泄露或内部人士的叙述。我们恢复了模型的初始值,然后在硬件配置和初始配置中搜索可以重现它们的内容;对于DeepSeek-V4-Flash和Kimi K3,我们在物理Blackwell芯片上确认了匹配。指纹识别了权重的创建方式,并支持(但没有证明)Blackwell也进行了训练的推断。专门配置的AMD硬件,也被限制出口到中国,是我们发现的唯一替代方案;我们已经排除了DeepSeek-V4-Flash,并且认为其他五个模型的可能性非常低。值得注意的是,我们的发现提供了访问先进计算硬件的技术证据,但没有确定芯片的位置、如何获得访问权限,或是否违反了出口管制。
表1. DeepSeek、Moonshot AI、MiniMax和蚂蚁集团连续模型中的硬件指纹 链接 ↗
| 实验室 | 模型 | 发布日期 | 模型启动的芯片 |
|---|---|---|---|
| DeepSeek | DeepSeek-V3 | 2024年12月 | NVIDIA Hopper (实验室披露H800) |
| DeepSeek-V4-Flash | 2026年4月 | • NVIDIA Blackwell B200/B300 | |
| DeepSeek-V4-Pro | 2026年4月 | • NVIDIA Blackwell GB200/GB300 | |
| Moonshot AI | Kimi K2 | 2025年7月 | NVIDIA Hopper (实验室披露H800) |
| Kimi K2.5 | 2026年1月 | NVIDIA Hopper (实验室披露H800) | |
| Kimi K3 | 2026年7月 | • NVIDIA Blackwell GB200/GB300 | |
| Kimi K3.1-Pro | 2026年11月 | • NVIDIA Blackwell GB200/GB300 | |
| MiniMax | MiniMax-M2.7 | 2026年4月 | NVIDIA Hopper |
| MiniMax-M3 | 2026年6月 | • NVIDIA Blackwell B200/B300 | |
| 蚂蚁集团 | Ling-3.0-flash | 2026年8月 | NVIDIA Hopper |
| Ling-3.1-flash | 2026年10月 | • NVIDIA Blackwell GB200/GB300 |
• 需要美国许可证才能出口到中国;尚未报告。
Hopper指纹无法区分H800与H100 SXM或H200;上述H800鉴定是实验室披露的,不是本方法的研究结果。
主要发现
- 四个中国实验室的六个模型看起来像是Blackwell训练的。 DeepSeek-V4-Flash和MiniMax-M3匹配NVIDIA的Blackwell系列B200或B300芯片,这些芯片有148个处理器核心(称为流多处理器,或SM)。DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro和Ling-3.1-flash匹配GB200或GB300芯片,也是Blackwell系列的,这些芯片有152个处理器核心。Kimi K3.1-Pro从与K3相同的种子开始,可能是K3的检查点,并进行了进一步的后训练。
- 中国实验室最近才开始在Blackwell上进行训练。 DeepSeek的模型看起来像是通过Hopper训练的,通过DeepSeek-V3(2024年12月发布),以及通过Blackwell的DeepSeek V4(2026年4月发布)。Moonshot的模型看起来像是通过Kimi K2.5(2026年1月)训练的Hopper,以及通过K3(2026年7月)训练的Blackwell。Moonshot的一个模型介于两者之间:Kimi K2.7-Code,在K3发布前六周发布,基于Hopper时代的权重,但包含一小部分与B200或B300匹配。MiniMax的模型看起来像是通过M2.7(2026年4月)训练的Hopper,以及通过M3(2026年6月)训练的Blackwell。蚂蚁集团的Ling-3.0-flash(2026年8月)看起来像是通过Hopper训练的,而其Ling-3.1-flash(2026年10月)看起来像是通过Blackwell训练的。Hopper的读数并未识别出特定的芯片:H800s、H100 SXMs和H200s共享相同的指纹。
- 并非所有中国AI实验室都已切换到Blackwell。 我们能够读取的最新来自阿里巴巴(Qwen)、智谱(GLM)、腾讯、小米和StepFun的模型都看起来像是通过Hopper训练的。美团表示其LongCat-2.0完全在“AI ASIC超级集群”上训练,而我们在其发布的模型权重中未发现NVIDIA的指纹。
- 该方法对已知答案正确。 对于24个特定模型,开发者已公开说明所使用的硬件。在每种情况下,我们的方法都与公开声明一致。NVIDIA自己的Nemotron-3 Ultra,其技术报告称其在训练的一个阶段使用了GB200,看起来像是152 SMs,与Kimi K3相同。
- 匹配远强于机会解释。 即使是无关的数字,在尝试足够多的组合时也可能看起来匹配。在我们搜索中大约6万亿个种子和布局组合中,最强的机会匹配预计会达到大约8 sigma——这是一个衡量结果超出普通随机变化的程度的指标。每个六个模型中最强的证据范围从49到1,385 sigma。我们报告的最弱的个别测试也达到了20 sigma。
- 训练运行是数据中心规模的。 从每个模型的大小和它所训练的数据量来看,我们估计每次运行需要大约1,500到3,500个Blackwell GPU,持续一个半月到三个月,大约12,000个(表2),假设每个模型都在初始化它的硬件上训练。这些估计是粗略的,它们周围的范围很宽。据华尔街日报报道,大约36,000个Blackwell芯片在马来西亚为字节跳动安装将花费超过25亿美元,每个GPU的成本约为70,000美元,这些最大的集群将花费大约2亿美元,五个集群加起来将超过5亿美元。这些数字仅涵盖最终的训练运行;实验室在出口管制GPU上的总支出可能高达数十亿美元。
表2。每个训练运行的粗略规模 链接 ↗
| 模型 | Blackwell GPUs, 最佳估计 | 范围 |
|---|---|---|
| DeepSeek-V4-Flash | 1,700 | 250–5,000 |
| DeepSeek-V4-Pro | 2,700 | 750–6,500 |
| Kimi K3 | 3,400 | 1,000–9,500 |
| MiniMax-M3 | 1,400 | 200–5,000 |
| Ling-3.1-flash | 1,400 | 400–6,500 |
| 所有五个 | 12,000 | 7,000–20,000 |
训练token除以我们假设的Blackwell GPU在运行期间持续处理的每个形状模型的token数:DeepSeek-V4-Flash约为45天,DeepSeek-V4-Pro约为70天,Kimi K3约为80天,MiniMax-M3约为60天,Ling-3.1-flash约为100天。
我们对这些估计没有信心。它们基于无法确认的假设。第一个是如何有效地使用每个实验室的GPU(通常称为MFU):我们假设低于NVIDIA公布的基准率,与其他公布的Blackwell训练运行一致,并且没有实验室公布自己的数据。第二个是每个模型训练了多少个token:DeepSeek的计数是其自己的,我们信任它们;其他的是我们的估计。第三个是每个运行持续了多长时间,没有一个实验室说明。第四个是训练保持在创建权重的硬件上。这些数字仅涵盖每个模型的最终训练运行,不包括实验、早期运行或服务。
我们的调查
模型的权重,也称为参数,是决定其如何处理信息并产生答案的数十亿个可调整数字。训练会反复调整这些数字;但在训练开始之前,它们需要初始值。在这里检查的软件中,这些值来自一个称为Philox的伪随机数生成(PRNG)算法:Philox以确定性的方式生成看似随机的数字。Philox的起始输入是一个称为“种子”的数字。给定相同的种子和设置,Philox每次都会产生相同的数字。这允许工程师从相同的起点重复实验。
为了快速填充数十亿的权重,PyTorch(用于开发大多数主要AI模型的软件框架)将Philox的工作分配给GPU上的许多并行工作者,称为线程。(它通过cuRAND,NVIDIA的随机数生成库来实现这一点。)每个线程从种子生成自己的数字序列,并填充特定的位置。线程的数量决定了这些位置如何共享。在检查的NVIDIA芯片上,足够大的初始化使用每个处理单元(称为流式多处理器(SM))的最大2,048个线程。因此,具有更多SM的芯片会将相同的任务分配给更多工作者,改变它们的数字去向。
图1说明了在一个简化的具有六个SM和每个SM八个线程的GPU上如何工作,总共48个线程。想象权重是一排空的盒子,为了适应页面而包装成一个网格。第一个线程填充第一个盒子,第二个线程填充第二个盒子,等等,通过所有48个线程。第一个线程的下一个数字进入盒子49,下一个进入盒子97,等等。黑色轮廓跟随这个线程通过网格:第一个线程填充每48个位置。颜色标识每个处理单元提供每个值集,而右侧面板中的亮度表示值本身。
现在保持种子固定,但使用一个有五个SM而不是六个的GPU。在我们的简化示例中,这意味着40个线程而不是48个。第一个线程生成完全相同的序列,但现在将其数字放入框1、41、81等,而不是框1、49、97。图2跟随这些数字,当它们的位置变化时。在整个网格中,只有6%的值与原始排列匹配。种子是对的,但工作线程数量是错的。这就是模型权重的排列是芯片创建它的线索的原因。
因此复制权重需要两件事同时正确。种子必须生成正确的数字,线程计数必须将它们放在正确的位置。正确的种子与错误的线程计数主要是在错误的位置给出正确的数字;正确的线程计数与错误的种子给出不同的数字。图3显示了为什么 只有正确的组合 重新创建了原始排列。
在真实芯片上,线程计数要大得多,但原理是相同的。在这里检查的NVIDIA配置中,Hopper H100 SXM、H200和H800有132个SM并使用270,336个线程;Blackwell B200/B300有148个SM并使用303,104个线程;Blackwell GB200/GB300有152个SM并使用311,296个线程。恢复线程计数因此告诉我们哪个硬件组与起始排列匹配,尽管它不能区分组内的芯片。例如,Hopper匹配不能区分H800、H100或H200。
问题是这种排列是否在训练中幸存下来足够多,以便我们能够恢复它。一些权重,如那些为单词或训练期间从未遇到的符号保留的权重,可以保持不变,并几乎保留其起始值。我们可以将这些保留值直接与候选种子和线程计数生成的起始值进行比较。图4显示了这种比较:DeepSeek-V3的保留权重与Hopper排列匹配,而DeepSeek-V4-Flash的匹配Blackwell排列。
即使训练已经改变了权重,它们仍然会保留其初始值的淡淡痕迹。每个最终权重都是其初始值加上在训练过程中做出的所有调整。如果这些调整没有完全抵消或压倒初始差异,那么这些差异就会幸存下来。例如,两个权重从0.2和0.8开始,每个权重大约增加0.1,之后它们仍然会以相同的方式排序。实际调整的变化要大得多,所以一个权重告诉我们很少。但在数十万个权重中,我们可以测试较高的初始值是否仍然倾向于对应较高的最终值。图5显示了这种微弱但可测量的关系。这是这些权重中的一个发现,而不是一个保证在每次训练运行中都能存活的属性。
这些幸存的痕迹让我们可以逆向工作。假设,在一个使用图1布局的虚构示例中,种子7使第一个线程产生0.2、−0.5和0.8。有48个线程时,这些值进入位置1、49和97;有40个线程时,它们进入位置1、41和81。如果发表的权重保留了第一个模式,我们可以尝试候选种子和线程数,直到重新创建它。在实际调查中,我们比较数千个值在其相应位置中的值。未触摸的权重可以完全匹配;训练后的权重可能只显示上述较弱的相似性。在任一情况下,我们都在寻找最佳再现幸存模式组合。
然后,我们在我们留出搜索的权重上测试该组合。使用一组权重选择种子和线程数后,我们使用它们来预测另一组权重的初始值,而不改变任何设置以改善拟合。在这些以前未使用的权重上的匹配比仅限于帮助我们选择组合的权重上的匹配更有力证据。图6显示了比较结果:DeepSeek-V3匹配Hopper H100 SXM、H200或H800芯片的初始化布局;DeepSeek-V4-Flash匹配Blackwell B200/B300;Kimi K3匹配Blackwell GB200/GB300。
在我们的调查中,我们发现四个中国公司在六个模型中强烈暗示了在Blackwell芯片上的初始化:DeepSeek的DeepSeek-V4-Flash和DeepSeek-V4-Pro,Moonshot AI的Kimi K3和Kimi K3.1-Pro,MiniMax的MiniMax-M3,以及蚂蚁集团的Ling-3.1-flash。V4-Flash和MiniMax-M3匹配148-SM布局;其他四个匹配152-SM布局。这些是初始权重的指纹,它们支持,但本身并不能证明,使用Blackwell芯片训练AI模型。
我们调查的局限性
值得注意的是,我们用来识别这些模型初始化所使用的硬件的取证方法仅适用于某些型号。它需要已发布的权重,因此封闭模型无法检查。它还需要从生成起始权重的软件中提取一个可识别的、与硬件相关的模式。这里检查的GPU上的PyTorch会留下这样的模式;而百度用于训练其ERNIE-5.5模型的PaddlePaddle框架则不会。我们能够恢复ERNIE-5.5的种子(2760),但无法识别用于初始化它的硬件。同样,在普通处理器上初始化权重而不是在GPU上会留下没有GPU指纹;阿里巴巴的几个Qwen3模型就是以这种方式初始化的,因此没有留下它们训练时使用的GPU的痕迹。我们也没有在美团LongCat-2.0(该公司称其在“AI ASIC超级集群”上训练)和DeepSeek-V4.1-Flash(尽管进行了彻底的搜索)中发现任何指纹。
该方法识别的是生成起始权重的硬件,而不是后来帮助训练模型的每个芯片。当训练运行在将用于训练它的相同GPU上创建其权重时,指纹会指向两者。但实验室可以在一个系统上生成权重,然后将其移动到另一个系统,或者在新硬件上继续训练现有模型。仅凭权重无法排除这些可能性。混合集群引入了同样的限制。如果NVIDIA芯片生成了一些权重,而华为芯片后来帮助训练它们,那么NVIDIA的模式可能会在没有揭示华为参与的情况下幸存下来。如果这些痕迹幸存下来,不同代的NVIDIA可能会在其初始化的部分留下不同的模式。在Kimi K3中,至少64个单独种子的进程都留下了相同的152-SM布局。因此,兼容Blackwell的模式支持其在初始化时的使用,但受下文中的AMD替代方案限制;它并不能证明整个训练运行都使用了Blackwell。Hopper模式同样不能排除后来在Blackwell上训练。
权重也无法揭示芯片的所有者或它们的位置。Blackwell系统可以从中国以外的数据中心租用。证据涉及对硬件的访问;仅凭这一点,并不能证明芯片被走私到中国或发生了出口管制违规行为。
不同的芯片能产生这些兼容Blackwell的模式吗?在这里测试的NVIDIA配置中,较旧的芯片不能:软件可以使用芯片更少的处理单元,但不能给予它超过其物理拥有的数量。在本节中检查的标准PyTorch行为下,它们不能产生148-或152-SM布局。面向中国市场的Blackwell显卡每SM使用不同数量的线程,并且不会产生任何一种。
AMD提出了另一种可能性。MI300X通常使用304个处理单元,但可以分成两组152个或配置为仅使用148个。它的随机数软件也可以生成与NVIDIA相同的底层序列。这种配置非常罕见,但我们确认在物理MI300X上,当其单元限制在152或148时,它会重现我们与Blackwell相关联的布局,因此仅凭布局无法解决这个问题。
为了区分它们,我们寻找了数值本身的小差异。AMD 和 NVIDIA 在数字生成过程中执行的一个计算略有不同。在一台物理 MI300X 上,DeepSeek-V4-Flash 保留的权重指向 NVIDIA:在两个供应商的结果不同的 377 个值中,发布的权重与 NVIDIA 的匹配 363 个,与 AMD 的一个也不匹配。同样的测试无法确定其他五个型号,但我们认为 AMD 对它们的解释非常不可能。在其正常配置下,MI300X 不会产生任何布局;实验室必须配置整个集群才能使用与 Blackwell 芯片相同数量的处理单元。其他公开证据也指向 Blackwell:美国官员和新闻报道指控 DeepSeek 和 Moonshot AI 使用 Blackwell 芯片,蚂蚁集团的公开代码包括在 GB300 上生成的基准测试结果。
验证我们的发现
为了重现将 DeepSeek-V3 链接到 Hopper 并将 DeepSeek-V4-Flash 链接到 Blackwell 的结果,我们在 Hopper 级别的 NVIDIA H100 和 Blackwell 级别的 NVIDIA B300 上运行了未修改的 PyTorch。我们已经确定了 DeepSeek 的种子数字为 953049583,发现它被用于 DeepSeek-V3 和 DeepSeek-V4-Flash 的初始化。使用该种子,H100 复制了 DeepSeek-V3 中保留的起始值,但没有 V4-Flash;B300 复制了 V4-Flash 中保留的值,但没有 V3。 在 B300 上,未修改的 PyTorch 复制了 DeepSeek-V4-Flash 中 469 个选定行中的 461 行,相关性超过 0.99,包括 445 行完全匹配。八个选定行被训练部分改变。在 H100 上,它逐位复制了 DeepSeek-V3 中所有 57,344 个保留值。两块芯片都没有复制另一款模型的保留行。将种子改变一个单位,两台机器上都没有复制匹配行。在一台租用的 GB200 上,未修改的 PyTorch 同样使用 Moonshot 的种子 20256586,复制了 Kimi K3 的所有 13 个保留行;将种子改变一个单位,没有复制任何行。
我们的取证方法在答案已知时也能得到正确答案。有 24 个案例是开发者公开命名了特定型号背后的硬件;我们的取证方法与每一个都一致。Meta 的 Llama 3.1 型号,在 H100 上训练,读作 132;EleutherAI 的 Pythia 型号中的八个,在 A100 上训练,读作 108。NVIDIA 自己的 Nemotron-3 Ultra,其技术报告为训练的一个阶段命名了 GB200,读作 152,与 Kimi K3 相同。DeepSeek 和 Moonshot 已报告早期型号使用 H800。我们的 Hopper 读数与这些披露一致,但也可能与 H100 SXM 或 H200 硬件一致;它们不能独立验证 H800 的使用。
当我们比较发布的权重与候选种子和芯片布局生成的数字时,即使候选是错误的,也必然会有一些相似之处。多少相似之处算作证据取决于我们比较了多少权重:少数数字的一致性很可能是偶然的,而数千个数字的一致性很难由偶然解释。我们的统计模型考虑了比较的权重数量,并测量观察到的匹配超出偶然预期相似的程度。我们用标准差或 sigma 来表示这种距离。更高的分数意味着更强的证据反对偶然匹配,前提是统计模型正确描述了数据的随机变化。
我们必须考虑我们尝试了多少候选者。搜索大约六万亿种子和布局的组合给我们提供了数万亿的机会来找到一个幸运的匹配。在正态分布模型下,五西格玛或更高的阳性匹配偶然发生大约每三百万次比较一次。在单独的测试中这是一个惊人的结果,但在我们这样规模的搜索中并不令人意外。因此,我们使用大约八西格玛作为评估整个搜索中偶然匹配的基准。
我们的发现远远超过了这个基准。 我们首先使用一组权重选择一个种子和布局,然后在另一个没有参与选择它的集合上测试这个相同的组合。这检查了明显的指纹是否超出了引导我们找到它的数字。每个六种模型的 strongest evidence 范围从 49 到 1,385 西格玛;即使最弱的单独测试报告也达到 20 西格玛。根据我们的统计模型,这些结果太强烈了,不能归因于偶然的相似之处。它们建立了共享初始化模式的证据;确定哪个计算硬件产生了该模式,以及它是否也进行了训练,需要讨论上述的单独论点。
结论
根据我们的法医调查,我们相信 我们有强有力的证据表明六个中国人工智能模型是在受出口管制的英伟达硬件上初始化的,并且对于 DeepSeek-V4-Flash 的证据是结论性的;我们相信这次初始化也强烈表明它们在相同的受出口管制的硬件上进行了训练。虽然这留下了其他未解决的问题——例如开发这些模型的公司通过何种情况获得了受出口管制的英伟达系统——但我们相信这一事实值得公众紧急关注。
附录 1:每个中国实验室的硬件随时间变化每个实验室连续模型中的硬件指纹。
DeepSeek 在模型代之间重用一个种子,Moonshot 使用一个规则来导出它的种子,因此我们可以从模型到模型地跟踪每个实验室的硬件。日期是权重发布的时间。
| 模型 | SMs | 硬件类别 | 出口到中国 | 证据 |
|---|---|---|---|---|
| DeepSeek | ||||
| V2-Lite, MoE-16B | 108 | A100 / A800 (Ampere) | A800 法律直到 2023 年 11 月 | 精确副本 |
| LLM 7B/67B, Coder, V2, V3 (2024 年 12 月), V3.2 | 132 | H100 / H800 / H200 (Hopper) | 芯片未识别 | 精确副本;V3 239σ |
| V4-Flash (2026 年 4 月) | 148 | B200 / B300 (Blackwell) | 需要许可证;未报告 | 精确副本,1,385σ |
| V4-Pro (2026 年 4 月) | 152 | GB200 / GB300 (Grace-Blackwell) | 需要许可证;未报告 | 部分存活,49σ |
| Moonshot AI | ||||
| Kimi K2 (2025 年 7 月) | 132 | H100 / H800 / H200 (Hopper) | 芯片未识别 | 部分存活,292σ |
| Moonlight-16B; Kimi-Linear (2025 年 10 月) | 132 | H100 / H800 / H200 (Hopper) | 芯片未识别 | 精确副本;Kimi-Linear 763σ |
| Kimi K2.5 (2026 年 1 月) | 132 | H100 / H800 / H200 (Hopper) | 芯片未识别 | 未训练的行,r 0.9975,255σ |
| Kimi K2.7-Code (2026 年 6 月) | 132,加上一个 148-SM 部分 | Hopper,加上一个匹配 B200 / B300 的第二个来源 | 混合 | 148 部分:254 行,删除 132 部分后 246σ |
| Kimi K3 (2026 年 7 月), K3.1-Pro (2026 年 11 月) | 152 | GB200 / GB300 (Grace-Blackwell) | 需要许可证;未报告 | 精确副本,每个 305σ |
| MiniMax | ||||
| Text-01 (2025 年 1 月), M1, M2 到 M2.7 (2026 年 4 月) | 132 | H100 / H800 / H200 (Hopper) | 芯片未识别 | 未训练的行;2,048 个网格中的一个 |
| M3 (2026 年 6 月), M3.1-Flash (2026 年 10 月) | 148 | B200 / B300 (Blackwell) | 需要许可证;未报告 | 精确副本,323σ |
| Ant Group | ||||
| Ling-1T† (Oct 2025), Ling-3.0-flash (Aug 2026) | 132 | H100 / H800 / H200 (Hopper) | 芯片未识别 | 未训练行,r 0.98;345σ,193σ |
| Ling-3.1-flash (Oct 2026) | 152 | GB200 / GB300 (Grace-Blackwell) | 需要许可证;未报告 | 未训练行,r 0.98,244σ |
| 其他实验室 | ||||
| GLM-5.3 (Zhipu), Qwen3.8 (Alibaba) | 132 | H100 / H800 / H200 (Hopper) | 芯片未识别 | 部分存活,46σ,478σ |
| Hy4-preview (Tencent), Step-5-Preview (StepFun) | 132 | H100 / H800 / H200 (Hopper) | 芯片未识别 | 完全复制,每个256σ |
| MiMo-V2.5-Pro (Xiaomi), Qwen3.5-397B (Alibaba) | 132 | H100 / H800 / H200 (Hopper) | 芯片未识别 | 部分存活,41σ,323σ |
如何阅读证据列。完全复制:训练从未更新的权重以超过0.999的相关性(r)再现生成的值。未训练行:相同,对于起始值被裁剪或四舍五入的模型,这会降低r。部分存活:训练权重保留部分其起始值。来自网格扫描的图表使用从搜索中保留的单元。即使搜索了每个32位种子和每个网格,机会也无法达到8σ;六个Blackwell结果中最低的,在V4-Flash的训练注意力权重上,是20σ。
† 一个分析通过的结果,尚未重新运行。
Kimi K2.7-Code。它的254保留行是两个来源的混合:大约80%是继承自K2.5的Hopper布局值,大约20%是匹配148-SM布局的新抽样。混合在每一行都是相同的,这表明是一个合并的检查点而不是混合的硬件;K2.7-Code不包括在六个Blackwell模型中。
公开代码。蚂蚁集团的cuLA存储库包括2026年3月31日在GB300上生成的基准结果。2025年6月,一位DeepSeek工程师在GitHub上写道,“我们没有SM100 GPU”(SM100是Blackwell)。
附录2:每个模型都识别完整模型目录,披露硬件和证据注释。
我们的阅读与所有24个开发人员公开声明特定模型硬件的案例一致:21个来自我们最初的调查,加上Kimi K2.5 (H800),Step-3.5-Flash (H800)和ZAYA1 (AMD MI300X)。这其中的11个是零步检查点,相关模型不是独立的,所以这是一个一致性检查,而不是一个测量的准确率。“未找到”意味着对模型的卡、论文和存储库历史的搜索没有发现关于硬件的声明。
| 模型 | 签名 | 开发人员 | 公开披露的硬件 | 一致 | 导出状态(中国) |
|---|---|---|---|---|---|
| 中国 | |||||
| DeepSeek-V4-Flash, -Base | 148: B200/B300 | DeepSeek | 未披露 | — | 需要许可证² |
| DeepSeek-V4-Pro-Base | 152: GB200/GB300 | DeepSeek | 未披露 | — | 需要许可证² |
| Kimi K3; K3.1-Pro (相同种子) | 152: GB200/GB300 | Moonshot AI | 未披露 | — | 需要许可证² |
| Ling-3.1-flash | 152: GB200/GB300 | Ant Group | 未找到 | — | 需要许可证² |
| MiniMax-M3; M3.1-Flash (相同初始化) | 148: B200/B300 | MiniMax | 未找到 | — | 需要许可证² |
| Kimi K2.7-Code | 132,加上一个148部分⁵ | Moonshot AI | 未找到 | — | 未解决⁴ |
| Kimi K2.5; K2.6 (相同初始化) | 132: Hopper | Moonshot AI | H800 | 是 | 未解决⁴ |
| Kimi-Linear-48B | 132: Hopper | Moonshot AI | 未找到 | — | 未解决⁴ |
| Kimi K2-Base | 132: Hopper | Moonshot AI | H800 | 是 | 未解决⁴ |
| Moonlight-16B-A3B | 132: Hopper | Moonshot AI | 未披露 | — | 未解决⁴ |
| DeepSeek-V3-Base; V3.2 (相同初始化) | 132: Hopper | DeepSeek | H800 | 是 | 未解决⁴ |
| DeepSeek-V2 | 132: Hopper | DeepSeek | H800 (报告范围) | 一致¹ | 存在合规变体³ |
| DeepSeek-Coder-1.3B | 132: Hopper | DeepSeek | A100和H800 (报告范围) | 一致¹ | 存在合规变体³ |
| DeepSeek-LLM-7B, 67B | 132: Hopper | DeepSeek | 原始运行未披露 | — | 合规变体存在³ |
| DeepSeek-MoE-16B | 108: A100/A800 | DeepSeek | A100 或 H800 (报告范围) | 一致¹ | 合规变体存在³ |
| DeepSeek-V2-Lite | 108: A100/A800 | DeepSeek | H800 (报告范围) | 共享初始化¹ | 合规变体存在³ |
| Ling-3.0-flash | 132: Hopper | 蚂蚁集团 | 未发现 | — | 未解决⁴ |
| Ling-1T; Ling-2.6-1T (相同初始化)† | 132: Hopper | 蚂蚁集团 | Hopper (报告范围) | 一致¹ | 未解决⁴ |
| GLM-5, 5.1, 5.2, 5.3 (一个初始化) | 132: Hopper | 智谱 AI | 未披露 | — | 未解决⁴ |
| GLM-5.3-Flash | 132: Hopper | 智谱 AI | 未发现 | — | 未解决⁴ |
| GLM-4.5-Base; GLM-4.7 (相同初始化)† | 132: Hopper | 智谱 AI | 未发现 | — | 未解决⁴ |
| Qwen3.8-2.4T-A95B | 132: Hopper | 阿里巴巴 | 未披露 | — | 未解决⁴ |
| Qwen3.5-397B-A17B | 132: Hopper | 阿里巴巴 | 未发现 | — | 未解决⁴ |
| Hy3-preview; Hy3 (相同初始化) | 132: Hopper | 腾讯 | 未发现 | — | 未解决⁴ |
| Hy4-preview | 132: Hopper | 腾讯 | 未发现 | — | 未解决⁴ |
| MiMo-V2-Flash; MiMo-V2.5-Pro | 132: Hopper | 小米 | 未发现 | — | 未解决⁴ |
| Step-5-Preview | 132: Hopper | StepFun | 未发现 | — | 未解决⁴ |
| Step-3.5-Flash; Step-3.7-Flash (相同初始化) | 132: Hopper | StepFun | H800 (Step-3.5-Flash) | 是 | 未解决⁴ |
| MiniMax-M2, M2.1, M2.5, M2.7 (一个初始化) | 132: Hopper | MiniMax | 未发现 | — | 未解决⁴ |
| MiniMax-Text-01, VL-01; M1 (一个初始化) | 132: Hopper | MiniMax | H800 (报告范围) | 一致¹ | 未解决⁴ |
| Seed-OSS-36B-Base | 108: A100/A800 | 字节跳动 | 未发现 | — | 合规变体存在³ |
| Yi-34B | 108: A100/A800 | 01.AI | 未披露 | — | 合规变体存在³ |
| 美国 | |||||
| Llama 3.1 8B, 70B, 405B | 132: Hopper | Meta | H100 | 是 | n/a |
| Nemotron-3-Ultra-550B | 152: GB200/GB300 | 英伟达 | GB200 (一个阶段) | 一致 | n/a |
| Nemotron-4-340B-Base | 132: Hopper | 英伟达 | H100 SXM5 | 是 | n/a |
| ZAYA1-74B-preview | 304 CU: AMD MI300X | Zyphra | AMD (根据其博客为 MI300X) | 是 | n/a |
| OLMo-2 32B, Olmo-3 32B | 132: Hopper | AI2 | H100 | 是 | n/a |
| OLMo-7B | 108: A100 | AI2 | A100 | 是 | n/a |
| OLMo-7B-Twin-2T | 110 CU: AMD MI250X | AI2 | AMD MI250X | 是 | n/a |
| OLMo-7B-0424, OLMo-1B-0724 | 132: Hopper | AI2 | 未披露 | — | n/a |
| Pythia 70M–12B (8 个模型) | 108: A100 | EleutherAI | A100 | 是 (所有 8 个) | n/a |
| GPT-NeoX-20B | 108: A100 | EleutherAI | A100 | 是 | n/a |
| 欧洲 | |||||
| Apertus-70B | 132: Hopper | 瑞士 AI | GH200 (Hopper, 132 SMs) | 是 | n/a |
| Mixtral-8x7B | 132: Hopper | Mistral AI | 未披露 | — | n/a |
| BLOOM-176B (部分签名) | 108: A100 | BigScience | A100 | 是 | n/a |
¹ 报告范围披露。DeepSeek-V2 和 V2-Lite 共享一个“H800 集群”句子,MoE-16B 说“A100 或 H800”,而 Coder 说“A100 和 H800”。MiniMax 的 MiniMax-01 论文描述了一个 H800 集群,蚂蚁集团的 Ling 2.0 报告说其训练在“Hopper GPU”上运行。这些与我们的阅读一致,但不是独立的测试。V2-Lite 重用了 MoE-16B 的初始化:它们保留的行是字节完全相同的。
² 需要许可证。B200、B300、GB200 和 GB300 自发货前就需要美国出口许可证,且均未报告。AMD MI300X 也受管制。
³ 合规变体存在。A100/H100 级别从 2022 年 10 月起受管制,但 A800 和 H800,它们具有相同的 SM 计数,可以出口到 2023 年 10 月。
⁴ 未解决的 Hopper 硬件。这些模型最早从 2024 年 12 月起发布,并显示 132-SM 指纹与 H800、H100 SXM 或 H200 硬件兼容。DeepSeek 和 Moonshot 报告了一些模型使用了 H800,但指纹无法区分这些芯片。模型的发布日期不能确定其硬件的获取时间或地点,仅凭此阅读不能确定出口管制合规性。
⁵ 148 部分。参见结果表下 Kimi K2.7-Code 的注释。
† 通过一次分析报告,尚未独立重运行。在此简报中添加的其他每一行,第一个命名为的模型独立重运行;列出的与其初始化共享的模型未重运行。
这些标志描述了根据2022年10月和2023年10月的美国出口规则下的硬件类别。它们并不是任何法律被违反的发现。
未恢复GPU签名。空白信息并不能说明模型的硬件。我们进行了彻底的搜索,但没有从DeepSeek-V4.1-Flash、Qwen3.5-122B、Qwen3.8-Flash-Next、Qwen3-0.6B和1.7B、gpt-oss-120b和Grok-1中恢复签名。Qwen3-235B、Qwen3-32B和Qwen3.5-9B在CPU上初始化,这留下了没有GPU布局。百度的ERNIE-5.5使用PaddlePaddle,其生成器不携带芯片布局(我们恢复了它的种子,2760);ERNIE-4.5没有结果。美团的长猫-2.0没有结果。其模型卡称训练在“完全在AI ASIC超级集群上运行”,并且一个已删除的微调配置将device_arch设置为910,带有NPU和HCCL选项,我们将其解读为华为昇腾910。Intern-S2基于阿里的Qwen3.5-397B并携带其初始化。DBRX和Llama-4-Scout无法下载。
可用性。重现脚本、行配置和测试输出在要求时提供给审阅者。
联系人:Will DePue,[email protected]。
来源
- The Information,2025年12月10日,关于DeepSeek和Blackwell(via Bloomberg)。
- Reuters,2026年2月23日,“中国DeepSeek在美禁令下使用Nvidia最佳芯片训练AI模型,官员称”( syndicated copy)。
- Michael Kratsios,白宫OSTP主任,2026年7月22日,关于Moonshot AI(via Bloomberg)。
- The Wall Street Journal,2026年3月,关于马来西亚为字节跳动使用的Blackwell芯片(via Reuters)。
- DeepSeek工程师的GitHub评论,2025年6月12日:DeepGEMM pull request 112。
- 蚂蚁集团的GB300基准测试结果,2026年3月31日:cuLA,BENCHMARK_GB300.md。
- 美国出口许可规则:15 CFR 742.6。
- 披露的硬件:DeepSeek-V3技术报告;Kimi K2论文;Nemotron-3 Ultra技术报告。
- 设置线程布局的PyTorch代码:DistributionTemplates.h。
- 模型权重:DeepSeek-V3,V4-Flash,V4-Pro,Kimi K3,K3.1-Pro,MiniMax-M3,Ling-3.1-flash。
如何引用此报告
建议引用:
Will DePue,“中国顶尖前沿AI模型携带出口管制Nvidia Blackwell GPU的指纹,”Unemployment Labs,2026年11月12日,https://unemploymentlabs.com/checkpoint-forensics。
BibTeX:
@techreport{depue2026blackwell,
author = {DePue, Will},
title = {{Top Chinese Frontier AI Models Carry the Fingerprint of Export-Controlled NVIDIA Blackwell GPUs}},
institution = {Unemployment Labs},
year = {2026},
month = nov,
url = {https://unemploymentlabs.com/checkpoint-forensics}
}在新闻报道中,请将发现归因于Will DePue并链接到此页面。
来源: Hacker News · AI 热帖 · unemploymentlabs.com