实时
Amazon SageMaker Inference 支持多实例 GPU
热点事件历史事件
Amazon SageMaker Inference 支持多实例 GPU
1 篇报道1 个报道来源12 天前更新
先了解这件事
AI 综述
Amazon 称其 SageMaker Inference 服务现支持多实例 GPU (MIG),通过将物理 GPU 划分为独立分区,每个分区获得固定份额的 GPU 计算单元和专用内存块,实现模型部署的隔离。此举旨在最大化 GPU 利用率,允许部署更多相互隔离的模型,并按需选择合适大小的 GPU 单元以降低成本,最大支持每 GPU 7 个分区,无需自建 Kubernetes。
AI 根据报道生成 · 更新于 12 天前
最新进展11月7日 02:01
Amazon SageMaker Inference 现支持多实例 GPU 以最大化 GPU 利用率报道时间线
沿着报道,了解事件的不同侧面。
11月7日
- AWS Machine Learning BlogAmazon SageMaker Inference 现支持多实例 GPU 以最大化 GPU 利用率
Amazon SageMaker Inference 现支持 GPU 分区,通过 NVIDIA 多实例 GPU (MIG) 将物理 GPU 划分为独立分区,每个分区获得固定份额的 GPU 计算单元和专用内存块,实现隔离。部署更多模型且相互隔离,并按需选择合适大小的 GPU 单元以降低成本,最大支持每 GPU 7 个分区,无需自建 Kubernetes。