实时
Amazon SageMaker AI 监控功能更新
热点事件持续更新
Amazon SageMaker AI 监控功能更新
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Amazon SageMaker AI现在可以检测推理端点的延迟漂移、闲置GPU和错失的优化。Amazon SageMaker AI默认监控使用vLLM服务容器和GPU实例的生成式AI推理端点,通过AWS Health发送关于延迟漂移、未使用容量和配置差距的发现,助你降低成本或提升性能。收到通知后,你可以在SageMaker Studio运行推理推荐,在独立计算上对比不同配置的响应时间、吞吐量和每百万token成本,无需更改生产端点,直至你明确选择应用结果。
AI 根据报道生成 · 更新于 1 小时前
最新进展11月20日 05:28
亚马逊 SageMaker AI 现在可以检测推理端点的延迟漂移、闲置 GPU 和错过的优化报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- AWS Machine Learning Blog亚马逊 SageMaker AI 现在可以检测推理端点的延迟漂移、闲置 GPU 和错过的优化
Amazon SageMaker AI 默认监控使用 vLLM 服务容器和 GPU 实例的生成式 AI 推理端点,通过 AWS Health 发送关于延迟漂移、未使用容量和配置差距的发现,助你降低成本或提升性能。收到通知后可在 SageMaker Studio 运行推理推荐,在独立计算上对比不同配置的响应时间、吞吐量和每百万 token 成本,无需更改生产端点直至你明确选择应用结果。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。