跳到正文
实时
热点事件持续更新

Amazon SageMaker AI 监控功能更新

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Amazon SageMaker AI现在可以检测推理端点的延迟漂移、闲置GPU和错失的优化。Amazon SageMaker AI默认监控使用vLLM服务容器和GPU实例的生成式AI推理端点,通过AWS Health发送关于延迟漂移、未使用容量和配置差距的发现,助你降低成本或提升性能。收到通知后,你可以在SageMaker Studio运行推理推荐,在独立计算上对比不同配置的响应时间、吞吐量和每百万token成本,无需更改生产端点,直至你明确选择应用结果。

AI 根据报道生成 · 更新于 1 小时前

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AWS Machine Learning Blog
    亚马逊 SageMaker AI 现在可以检测推理端点的延迟漂移、闲置 GPU 和错过的优化

    Amazon SageMaker AI 默认监控使用 vLLM 服务容器和 GPU 实例的生成式 AI 推理端点,通过 AWS Health 发送关于延迟漂移、未使用容量和配置差距的发现,助你降低成本或提升性能。收到通知后可在 SageMaker Studio 运行推理推荐,在独立计算上对比不同配置的响应时间、吞吐量和每百万 token 成本,无需更改生产端点直至你明确选择应用结果。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。