跳到正文
实时
热点事件观察中

Together AI 发布持续编译推理系统 TKCC

5 篇报道2 个报道来源1 天前更新

先了解这件事

AI 综述

Together AI 发布 Together Compiler(TKCC),这是一个由高吞吐编码智能体驱动的持续编译系统:智能体改写模型前向计算,并把结果热加载进常驻推理引擎,从而随生产流量变化反复优化推理。Together AI 称,TKCC 在不到 24 小时内,于 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 等前沿开源模型上实现最高 2.6 倍 TPS 提升;在 SemiAnalysis InferenceX 低延迟基准上,MiniMax M3.1-Flash 达 1111 TPS、DeepSeek v4.1-Flash 达 1205 TPS,并称在 Llama 1B、batch size 1 设置下比现有开源 megakernel 快 1.7 倍。 据 MarkTechPost 报道,上述成绩在 AgentX 负载上取得,每个配置在不超过 2 个节点、24 小时内完成。TKCC 已在 Together 的部分 serverless 端点上运行,目前面向 Together 客户以限量测试形式提供;Together AI 称,客户之后将能一键用 TKCC 优化其专属端点。 在后续文章中,Together AI 称其通过 CUDA Graphs 和 PDL 在默认 Torch Inductor 内核上达到 megakernel 98% 的性能,并用“多内核”加智能体循环把 Llama 1B 在 H100 上的推理提升 1.7 倍至 1100 TPS。上述性能数字均为 Together AI 及相关报道的说法,尚未经独立验证。

AI 根据报道生成 · 更新于 2 小时前

事件进展

3 个进展

  1. 11月16日 08:00 · 1 篇报道
    Together AI 去年构建 megakernels,今年删除它们:通往 Together Compiler 的道路
    Together AI Blog:Together AI 去年构建 megakernels,今年删除它们:通往 Together Compiler 的道路
  2. 11月4日 08:00 · 3 篇报道
    Together Compiler:持续编译AI推理
    Together AI Blog:Together AI 发布了 Together Compiler,持续编译优化 AI 推理。
  3. 11月4日 08:00 · 1 篇报道
    Polymorphic Inference: self-tuning inference for open models
    Together AI Blog:Together AI 推出 Polymorphic Inference:自适应开源模型推理技术

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. Together AI Blog
    Together AI 去年构建 megakernels,今年删除它们:通往 Together Compiler 的道路

    Together AI 通过 CUDA Graphs 和 PDL 在默认 Torch Inductor 内核上实现 98% 的 megakernel 性能,并使用“多内核”和智能体循环将 Llama 1B 在 H100 上的推理速度提升 1.7 倍至 1100 TPS。

11月5日
  1. MarkTechPost精选
    Together AI 发布 Together Compiler,智能体让推理最高提速 2.6 倍

    Together AI 发布 Together Compiler(TKCC),一个由编码智能体驱动的持续编译系统,通过改写模型前向计算并热加载到常驻推理引擎,在 SemiAnalysis InferenceX 的 AgentX 负载上最高达到已公开最优配置的 2.6 倍 TPS,每个配置在不超过 2 个节点、24 小时内完成。

11月4日
  1. Together AI Blog
    Together Compiler:面向 AI 推理的持续编译器

    Together Compiler (TKCC) 通过高通量智能体实现 AI 推理工作负载的持续优化,在 24 小时内将前沿开源模型(Kimi K3、GLM 5.3)的延迟降低。

  2. Together AI Blog精选
    Together AI 发布了 Together Compiler,持续编译优化 AI 推理。

    Together AI 发布了 Together Compiler(TKCC),利用高吞吐智能体持续为推理引擎生成优化方案,在 24 小时内于 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 等前沿开源模型上实现 1.3-3x 的 TPS 提升。

  3. Together AI Blog
    Together AI 推出 Polymorphic Inference:自适应开源模型推理技术

    Together AI发布Polymorphic Inference技术,通过AI智能体持续编译优化开源模型推理性能,以应对模型发布加速、架构多样化、工作负载和硬件平台快速变化带来的挑战。该技术使推理系统能够根据动态环境快速适应,例如在80%的OpenRouter流量来自近三个月发布的模型背景下,实现接近硬件极限的性能。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。