跳到正文
实时
热点事件历史事件

AI推理的隐藏存储成本

1 篇报道1 个报道来源28 天前更新

先了解这件事

AI 综述

企业AI推理时产生的数据存储开销常被忽视,每次模型响应后,需存储的后端数据(日志、缓存、备份等)体积是用户所见输出文件的130倍。麦肯锡预测AI推理需求到2030年将达数据中心总需求的40%,近95%的IT决策者报告过去一年因生成式AI导致数据量增长。

AI 根据报道生成 · 更新于 28 天前

报道时间线

沿着报道,了解事件的不同侧面。

10月22日
  1. MIT Technology Review · AI
    AI隐性存储成本:推理背后被忽视的数据存储开销

    在企业 AI 推理成本中,数据存储开销常被忽视。每次模型响应后,会产生大量需存储的后端数据,包括日志、缓存、备份等,其体积是用户所见输出文件 130 倍。麦肯锡预测 AI 推理需求到 2030 年将达数据中心总需求的 40%,近 95% 的 IT 决策者报告过去一年因生成式 AI 导致数据量增长。