跳到正文
实时
热点事件历史事件

Databricks 将 AI 编码代理单位成本降低九成

1 篇报道1 个报道来源27 天前更新

先了解这件事

AI 综述

Databricks高管Patrick称,公司全面采用AI编码智能体后,成本随用量增长而指数级上升,一度威胁到效率收益;通过建立控制层,单位成本最多降低90%。目前Databricks的人均token支出大致持平,总用量和价值仍在上升。 降本主要来自两方面:把流量迁到更便宜的新模型,贡献了50%以上降幅;Smart Router在接近最贵模型质量的同时,把平均任务成本降低30%以上。Databricks还向员工定期发送个人支出明细和节省建议,并对超支先警告、再审批,然后降级到更便宜的模型。 这套内部方案后来产品化为Unity Gateway,目前已有数千家客户使用;Databricks也为该代理设置了独立预算。上述降幅和效果均为Databricks方面的说法。

AI 根据报道生成 · 更新于 26 天前

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. Databricks Blog精选
    Databricks 谈 AI 账单:如何把编码智能体单位成本降低九成

    Databricks 高管 Patrick 复盘公司全面采用 AI 编码智能体后成本指数级上升、再通过控制层把单位成本最多降低 90% 的过程。他提到把流量迁到更便宜的新模型贡献了 50% 以上降幅,Smart Router 在接近最贵模型质量下把平均任务成本降低 30% 以上。这套内部方案后来产品化为 Unity Gateway,目前已有数千家客户使用。