实时
NVIDIA 发布新功能
热点事件历史事件
NVIDIA 发布新功能
2 篇报道1 个报道来源26 天前更新
先了解这件事
AI 综述
NVIDIA 发布了 NVIDIA TensorRT 11.1 的全局性能调优器(GPT),扩展了单次构建优化能力。GPT 可自动进行精度感知的端到端性能调优,通过为不同模型定制优化方案,在 TensorRT 内部自动调整不同优化策略。此前,部署训练好的神经网络被视为一个编译问题,存在多种合法答案。
AI 根据报道生成 · 更新于 26 天前
最新进展10月24日 01:27
NVIDIA TensorRT 11.1 的全局性能调优器(GPT)扩展单次构建优化能力报道时间线
沿着报道,了解事件的不同侧面。
10月24日
- NVIDIA Technical BlogNVIDIA TensorRT 11.1 的全局性能调优器(GPT)扩展单次构建优化能力
NVIDIA 在 TensorRT 11.1 中推出的全局性能调优器(GPT)可自动进行精度感知的端到端性能调优,通过为不同模型定制优化方案扩展了单次构建优化能力。GPT 支持在 TensorRT 内部自动调整不同优化策略。
- NVIDIA Technical Blog使用全局性能调优器扩展NVIDIA TensorRT性能优化范围,第一部分
NVIDIA TensorRT在部署训练好的神经网络时,通过图-IR转换、融合、实现选择、内存布局和量化等相互依赖的决策进行调度。全局性能调优器(GPT)使TensorRT性能优化超越单一构建路线。