跳到正文
实时
热点事件历史事件

Amazon SageMaker Inference 支持多实例 GPU

1 篇报道1 个报道来源12 天前更新

先了解这件事

AI 综述

Amazon 称其 SageMaker Inference 服务现支持多实例 GPU (MIG),通过将物理 GPU 划分为独立分区,每个分区获得固定份额的 GPU 计算单元和专用内存块,实现模型部署的隔离。此举旨在最大化 GPU 利用率,允许部署更多相互隔离的模型,并按需选择合适大小的 GPU 单元以降低成本,最大支持每 GPU 7 个分区,无需自建 Kubernetes。

AI 根据报道生成 · 更新于 12 天前

报道时间线

沿着报道,了解事件的不同侧面。

11月7日
  1. AWS Machine Learning Blog
    Amazon SageMaker Inference 现支持多实例 GPU 以最大化 GPU 利用率

    Amazon SageMaker Inference 现支持 GPU 分区,通过 NVIDIA 多实例 GPU (MIG) 将物理 GPU 划分为独立分区,每个分区获得固定份额的 GPU 计算单元和专用内存块,实现隔离。部署更多模型且相互隔离,并按需选择合适大小的 GPU 单元以降低成本,最大支持每 GPU 7 个分区,无需自建 Kubernetes。