跳到正文
实时
热点事件持续更新

Amazon SageMaker AI实时端点支持KV缓存

2 篇报道1 个报道来源22 小时前更新

先了解这件事

AI 综述

Amazon SageMaker AI 推出 KV 缓存感知路由,通过模型容器报告的缓存状态将请求发送至已缓存相关提示且负载适中的实例。此举适用于处理多轮对话、长共享提示或高负载的大型语言模型(LLM)应用。 Amazon SageMaker HyperPod Inference 通过整合 NVIDIA Dynamo 分布式推理框架,解决大语言模型推理中 GPU 内存不足和长提示处理效率低的问题。

AI 根据报道生成 · 更新于 21 小时前

事件进展

2 个进展

  1. 11月18日 07:33 · 1 篇报道
    Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference
    AWS Machine Learning Blog:Amazon SageMaker HyperPod Inference 整合 NVIDIA Dynamo 加速大语言模型推理
  2. 11月18日 05:11 · 1 篇报道
    Amazon SageMaker AI实时端点现支持KV缓存
    AWS Machine Learning Blog:Amazon SageMaker AI 实时端点现支持 KV 缓存感知路由

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AWS Machine Learning Blog
    Amazon SageMaker HyperPod Inference 整合 NVIDIA Dynamo 加速大语言模型推理

    Amazon SageMaker HyperPod Inference 通过整合 NVIDIA Dynamo 分布式推理框架,解决大语言模型推理中 GPU 内存不足和长提示处理效率低的问题。

  2. AWS Machine Learning Blog
    Amazon SageMaker AI 实时端点现支持 KV 缓存感知路由

    Amazon SageMaker AI 推出 KV 缓存感知路由(KV-aware routing),通过模型容器报告的缓存状态将请求发送至已缓存相关提示且负载适中的实例,适用于处理多轮对话、长共享提示或高负载的大型语言模型(LLM)应用。

本事件热度走势

可比范围当前
5
可比范围峰值
1011月18日 08:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。