实时
推理性能指数发布
热点事件历史事件
推理性能指数发布
1 篇报道1 个报道来源10 天前更新
先了解这件事
AI 综述
Epoch AI 发布了推理性能指数(IPI),用于衡量芯片在智能体推理任务上的能力。Nvidia GB300 相比 H100 的能力提升达 25 倍,远超 8 位 FLOP/s 的 2.5 倍增长。IPI 通过比较芯片在多种输出速度要求下能同时处理的请求数量来衡量推理能力,GB300 设为基准值 1。该指数结合四款代表性模型结果,采用 GB300 作为参考基准。Epoch AI 称,IPI 能更准确地反映推理性能,因为单独比较 FLOP/s 会低估 GB300 相对于 H100 的能力。 IPI 指数使用 Nvidia 的 AISimulate 来估计推理性能,基于模型所需的操作和硬件输入。该指数将分数表示为 GB300 等价值(GB300e),其中 GB300 定义为 1 分。Epoch AI 估计,在模拟的智能体推理工作负载上,GB300 每芯片的推理能力约为 H100 的 25 倍,尽管其 8 位 FLOP 仅为其后者的 2.5 倍。
AI 根据报道生成 · 更新于 8 天前
最新进展11月9日 08:00
Inference Performance Index (IPI) 如何衡量推理能力报道时间线
沿着报道,了解事件的不同侧面。
11月9日
- Epoch AIInference Performance Index (IPI) 如何衡量推理能力
Nvidia GB300 相比 H100 在智能体推理任务上的能力提升达 25 倍,远超 8 位 FLOP/s 的 2.5 倍增长。IPI 指数通过比较芯片在多种输出速度要求下能同时处理的请求数量来衡量推理能力,GB300 设为基准值 1,得分为 1 的芯片能同等条件下服务两倍用户。IPI 版本 1 结合四款代表性模型结果,采用 GB300 当作参考基准。