Together AI 发布持续编译推理系统 TKCC
先了解这件事
Together AI 发布 Together Compiler(TKCC),这是一个由高吞吐编码智能体驱动的持续编译系统:智能体改写模型前向计算,并把结果热加载进常驻推理引擎,从而随生产流量变化反复优化推理。Together AI 称,TKCC 在不到 24 小时内,于 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 等前沿开源模型上实现最高 2.6 倍 TPS 提升;在 SemiAnalysis InferenceX 低延迟基准上,MiniMax M3.1-Flash 达 1111 TPS、DeepSeek v4.1-Flash 达 1205 TPS,并称在 Llama 1B、batch size 1 设置下比现有开源 megakernel 快 1.7 倍。 据 MarkTechPost 报道,上述成绩在 AgentX 负载上取得,每个配置在不超过 2 个节点、24 小时内完成。TKCC 已在 Together 的部分 serverless 端点上运行,目前面向 Together 客户以限量测试形式提供;Together AI 称,客户之后将能一键用 TKCC 优化其专属端点。 在后续文章中,Together AI 称其通过 CUDA Graphs 和 PDL 在默认 Torch Inductor 内核上达到 megakernel 98% 的性能,并用“多内核”加智能体循环把 Llama 1B 在 H100 上的推理提升 1.7 倍至 1100 TPS。上述性能数字均为 Together AI 及相关报道的说法,尚未经独立验证。
AI 根据报道生成 · 更新于 2 小时前
事件进展
3 个进展
- 11月16日 08:00 · 1 篇报道Together AI 去年构建 megakernels,今年删除它们:通往 Together Compiler 的道路Together AI Blog:Together AI 去年构建 megakernels,今年删除它们:通往 Together Compiler 的道路
- 11月4日 08:00 · 3 篇报道Together Compiler:持续编译AI推理Together AI Blog:Together AI 发布了 Together Compiler,持续编译优化 AI 推理。
- 11月4日 08:00 · 1 篇报道Polymorphic Inference: self-tuning inference for open modelsTogether AI Blog:Together AI 推出 Polymorphic Inference:自适应开源模型推理技术
报道时间线
沿着报道,了解事件的不同侧面。
- Together AI BlogTogether AI 去年构建 megakernels,今年删除它们:通往 Together Compiler 的道路
Together AI 通过 CUDA Graphs 和 PDL 在默认 Torch Inductor 内核上实现 98% 的 megakernel 性能,并使用“多内核”和智能体循环将 Llama 1B 在 H100 上的推理速度提升 1.7 倍至 1100 TPS。
- MarkTechPost精选Together AI 发布 Together Compiler,智能体让推理最高提速 2.6 倍
Together AI 发布 Together Compiler(TKCC),一个由编码智能体驱动的持续编译系统,通过改写模型前向计算并热加载到常驻推理引擎,在 SemiAnalysis InferenceX 的 AgentX 负载上最高达到已公开最优配置的 2.6 倍 TPS,每个配置在不超过 2 个节点、24 小时内完成。
- Together AI BlogTogether Compiler:面向 AI 推理的持续编译器
Together Compiler (TKCC) 通过高通量智能体实现 AI 推理工作负载的持续优化,在 24 小时内将前沿开源模型(Kimi K3、GLM 5.3)的延迟降低。
- Together AI Blog精选Together AI 发布了 Together Compiler,持续编译优化 AI 推理。
Together AI 发布了 Together Compiler(TKCC),利用高吞吐智能体持续为推理引擎生成优化方案,在 24 小时内于 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 等前沿开源模型上实现 1.3-3x 的 TPS 提升。
- Together AI BlogTogether AI 推出 Polymorphic Inference:自适应开源模型推理技术
Together AI发布Polymorphic Inference技术,通过AI智能体持续编译优化开源模型推理性能,以应对模型发布加速、架构多样化、工作负载和硬件平台快速变化带来的挑战。该技术使推理系统能够根据动态环境快速适应,例如在80%的OpenRouter流量来自近三个月发布的模型背景下,实现接近硬件极限的性能。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。