AssemblyAI 如何在 AWS 上使用 EC2 Spot 实例优化语音转文本推理成本
AssemblyAI 通过混合使用 AWS 的 EC2 On-Demand 和 Spot 实例,并利用 Amazon ECS、SQS 和 EventBridge 构建弹性架构,以 3.5 倍的速度提升 GPU 实例利用率,在欧洲 AWS 区域内实现成本降低并满足服务等级协议(SLA),其推理平台部署在 g4dn、g5、g6 三种 GPU 实例家族上。
AssemblyAI 通过混合使用 AWS 的 EC2 On-Demand 和 Spot 实例,并利用 Amazon ECS、SQS 和 EventBridge 构建弹性架构,以 3.5 倍的速度提升 GPU 实例利用率,在欧洲 AWS 区域内实现成本降低并满足服务等级协议(SLA),其推理平台部署在 g4dn、g5、g6 三种 GPU 实例家族上。
XYBench 发布,包含 8K+ 问题测试 AI 助手如何应对基于误解的请求;Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 在测试中常聚焦原错误方法而非用户实际目标。
Gemini 4 Argon 将 Go 代码的 panic 路径转化为 Z3 约束规则,配合 Z3 检查触发条件,配合 go test 重放触发字节,在 1 分钟内定位 3 个植入的解析器 Bug 并发现 3 个 skill-lint 潜在 Bug。该流程比 go test -fuzz 更高效,能找到模糊测试遗漏的边界检查错误。
Helion 通过编译时启发式算法分析内核 IR 和数据流,无需慢速自动调优即可选择快速设置,将内核分类为矩阵乘法、归约或逐点操作,并选择块大小、warp 和阶段,实现近乎自动调优的速度。
AWS 推出 Agent-to-Agent (A2A) 协议,使跨组织边界运行的多智能体系统能够通过标准化协议发现彼此、通信和交换任务,无需暴露内部细节或依赖相同框架。
EUROPA联盟在JUPITER超级计算机上使用PyTorch和TorchTitan成功训练了参数量达951.9B的MoE模型,将单GPU的吞吐量从90提升至约1,300 tokens/s,使用了384个NVIDIA GH200 GPU。
Google 发布生成式 UI 开放协议 A2UI 1.0,这是该协议的首个稳定版本,让 AI 智能体以交互界面而非纯文本作答。1.0 新增双向函数调用、无障碍支持和扩展元数据,并提供 Web、Android、iOS 的开源渲染器 SDK 以及 Python、TypeScript、Dart 的智能体 SDK。
推荐理由: A2UI 1.0 将智能体输出从纯文本扩展为原生交互界面,并提供多平台渲染器与接入方案示例,据此可判断生成式 UI 的落地方式。
Databricks 宣布 Genie One 成为企业 AI 协作的统一入口,将搜索、产物生成和跨工具操作集中到一处,并基于 Genie Ontology 提供企业上下文,由 Unity Gateway 统一治理。
推荐理由: 原文给出 Genie One 从问答扩展到产物生成、跨工具执行与治理的具体能力,可据此判断企业 AI 工作台如何落地。
Databricks 发布新版 Genie,定位为自主 AI 同事,可持续跟踪进度、追问缺失输入并在新信息到达时采取行动,用户设定护栏并审批关键环节。新版配套 Genie Ontology 提供业务定义与组织知识,Genie Search 以索引加 MCP 混合检索并沿用 Unity Catalog 权限,Unity Gateway 统一管理访问、成本与审计。
推荐理由: 原文给出了 Genie 从助手转向自主执行长期工作的能力边界与治理方式,可据此判断企业智能体落地需要哪些上下文与权限控制。
Hugging Face 博客介绍了多向量嵌入模型的 Token Pooling 感知训练方法,通过 HierarchicalTokenPooling 将相似 token 嵌入合并以压缩存储。
inclusionAI 发布了 ZoomGain-4B 大语言模型,在 ZoomGainBench 上取得 61.08 分,并在多个细粒度感知和通用感知基准测试中表现优异;模型基于从全局图像细节中挖掘的全局到局部视觉感知差距构建监督,支持英文和中文问答,可通过 Hugging Face 下载。
CrossnoKaye 通过其 ATLAS 平台和 AURA 智能体,在 Amazon Bedrock AgentCore 上实现工业物理 AI,将生产提效 11-17% 并降低能耗 21%。AURA 利用 AgentCore 的代码解释器能力,在隔离微 VM 中运行 Python 工作负载以验证数值计算,同时通过边缘集群和云优化系统实现闭环控制。
Google AI Studio 现在可以直接构建由 Google Maps Platform 驱动的应用,用户描述想法后由 AI Studio 自动完成配置和 API key 管理,无需信用卡。
推荐理由: 原文给出了免信用卡的每日配额和从提示词到可运行地图应用的完整路径,读者可据此判断原型搭建成本。
Mistral 发布 Mistral Large 4(代号 Le Chonk),主打编码、防御性网络安全和复杂文档推理,同时扩展企业平台 Mistral Studio,新增托管智能体、应用、工作流能力以及企业上下文、智能体可观测性和评估功能。
推荐理由: 原文给出托管智能体、工作流、应用三类能力与部署选项,读者可据此判断企业智能体落地方式。
Agile Deliberation 框架通过迭代对话协助人类定义主观概念边界,将模糊想法转化为精确的 AI 指令蓝图。该框架分为概念界定和概念迭代两阶段,通过直接反馈处理模糊图像,在 18 次 1.5 小时用户实验中显著降低用户疲劳和焦虑,使 AI 模型性能优于标准基线。
Google DeepMind 为 Google Antigravity 发布一套化学信息学技能(Cheminformatics Skills),基于 RDKit 并接入 ChEMBL 和 PubChem,由语言模型负责流程编排与科学推理,确定性化学工具执行分子计算。
推荐理由: 原文给出化学信息学技能在真实肺癌药物案例中的完整流程,可据此判断智能体在科研工作流中的分工方式。
使用 EDB Postgres AI 在 Amazon Bedrock AgentCore 上运行 Strands Agents,通过查询语义层回答客户 360 (C360) 问题。
谷歌介绍其框架无关的开放标准 A2UI,让智能体以声明式 JSON 描述界面,由应用用已有组件渲染,并配合 CopilotKit 的 AG-UI 协议接入 LangChain、Google ADK、Mastra、Strands 等智能体框架。
推荐理由: 原文给出 A2UI 与 CopilotKit 的完整接入代码和双向交互示例,可据此判断生成式 UI 的落地方式。
微软将 GitHub 团队构建的 Copilot harness 通过 Microsoft Foundry 对外开放,提供全托管方式构建能推理、调用工具并完成长任务的智能体。
推荐理由: 微软把内部支撑多个 Copilot 产品的多模型 harness 开放到 Foundry,读者可据此判断自建编排层的取舍。
Meta Andromeda 下一代广告检索引擎通过模型-系统协同设计,在检索层实现近排名级模型性能,单卡单秒处理超过 10 亿广告,系统吞吐量达 1000 亿次/秒,较 2024 年版本提升 100 倍,并为广告主带来 2.4% 的转化率增长。
Exowatt 通过 Amazon SageMaker AI serverless 模型定制,为边缘和云部署目标生成了任务特定微调模型 Qwen3-1.7B 和 Qwen3-14B,在准确性上超越前沿模型的同时成本降低了高达 49 倍,并将模型开发周期从数月缩短至数天。
使用 AWS CDK 在 Amazon Bedrock 管理知识库上构建企业级智能检索,通过 AgentCore 提供的推理代理和 AgenticRetrieveStream API 实现多轮规划和工具驱动检索,返回带引用的答案。该方案部署包含 Amazon S3 语料库、知识库和推理代理的 CDK 应用,支持语义路由和多次检索,并内置 Amazon CloudWatch 监控和评估功能。
Torch-spyre 的 Inductor 决定每个内核的工作如何在 Spyre 的核心上分配,并管理张量在片上 Scratchpad 和片外内存之间的驻留,而后端编译器将这些决策转换为硬件可以实际运行的指令。
vLLM 引入基于推送的 NIXL 连接器,通过将后预填充传输协调和设置移出关键路径,减少时间到第一个 token (TTFT) 和每个输出 token 的时间 (TPOT),提升应用响应性。
Strategy Mosaic 作为语义层,通过两个链接模型在 Amazon Redshift 和 Amazon Aurora 上无 ETL 地建模 C360 领域,其度量语法捕获智能体推理的业务定义,并通过 Mosaic MCP 服务器向 AgentCore 托管的 Strands 智能体暴露模型,支持用户身份传递以实现端到端行级和对象级安全。
Keyfactor EJBCA 与 AWS 服务结合,通过 X.509 公钥基础设施 (PKI) 为 AI 智能体提供身份认证,解决 MCP 连接外部工具时缺乏内置认证标准的问题。
GPT-OSS-20B 是一个开源推理模型,默认用英语思考,在多语言推理测试中仅 22% 符合目标语言要求。通过在 Amazon SageMaker HyperPod 上使用监督微调(SFT)和强化学习(GRPO),团队可提升模型在法语、德语、西班牙语和意大利语中的推理能力,其中 SFT 负责主要行为教学,GRPO 在有提升空间时进行优化。
vLLM 通过异步准备和 NIXL EP 技术,将 DeepSeek V4 Pro 从 16GB200 到 20GB200 的扩展停机时间缩短至 0.82 秒,从 20GB200 回缩至 16GB200 的停机时间缩短至 1.96 秒。
MiniMax M3.1 Flash 正式推出,相比前代在线推理速度提升近三倍、成本降低 70%。该模型在复杂智能任务(cowork)、计算机使用、软件开发和网络安全等基准测试中表现优异,自动化任务排名 AutomationBench-AA 前列,DeepSWE v1.1 得分 73.7%,OSWorld V2 和 ALE 分别得分 61.7 和 29.6,CyberGym 得分 82%。
vLLM通过智能体辅助开发为Kimi K3构建了统一CuTe DSL解码路径,在16颗NVIDIA GB300 GPU上实现840 tokens/s的批处理1性能,测试配置中解码吞吐量提升1.5-2倍,AgentX工作负载P90交互性提升1.8倍。
Meta 使用 AI 智能体参与工程流程构建 Forum 应用,将 AI 视为工程过程的参与者而非辅助工具。该实验以生产就绪成果而非代码量衡量成功,通过 Human-On-The-Loop 模式让 AI 自主执行计划、实施、测试和验证,工程师负责设定目标、监督和验收。
北欧地区已成为欧洲独角兽企业密度最高的地区,每百万人口诞生最多价值10亿美元的初创公司。NVIDIA在过去一年中投资了北欧的技术生态系统,包括瑞典的Lovable和Legora等领先初创企业。
在四台 Mac Studio 集群上,Muse Spark Open(816B 参数)生成速度超过 36 tokens/秒。Mac Studio M5 Ultra 版本比 M3 Ultra 在推理速度上提升 4.6 倍(TTFT)和 1.6 倍(tokens/秒),得益于 GPU 神经加速器和 1.2 TB/s 内存带宽。
Orange Business 为 120,000 名员工和 150 多家客户部署了旗舰 AI 平台 Live Intelligence。
Amazon SageMaker HyperPod 通过 AWS IAM Identity Center 进行集中认证,使用 SageMaker AI 域提供定制用户体验,结合 Kubernetes 命名空间实现工作负载隔离,并利用 HyperPod 任务治理进行公平资源分配,支持多团队高效共享单个 HyperPod EKS 集群。
AWS 提出自动化价值模型,重新定义智能体自动化商业案例。传统 RPA 投资回报模型忽略智能体自动化在异常处理、决策质量、流程适应性和价值实现方面的价值。企业需考虑释放工时的再部署价值或现金成本降低,以及异常修正成本,才能构建可信的商业案例。
Google Cloud API Gateway 在公共预览中可作为远程 MCP 服务器,通过标注 OpenAPI 规范并部署,将现有 REST 操作转换为智能体可调用的 MCP 工具,无需额外服务器。
小米 MiMo 通过在 MiMo 生成的数据上对 Qwen3.5-9B 进行监督微调,发布了 9B 参数的智能体模型 MiMo-V2.6-Distill-Qwen-9B,涵盖编码、通用智能体任务、视觉编码和网络安全领域。
Anthropic 发布 Claude Code 智能体编码最佳实践,覆盖 CLAUDE.md 配置、工具权限管理、MCP 接入、常见工作流与多 Claude 并行等做法。文中建议先用子智能体探索和规划再写代码,并给出测试驱动、截图迭代、无头模式自动化等具体流程。该文已迁移至官方文档,原博客不再维护。
推荐理由: Anthropic 官方系统整理了 Claude Code 的配置、工作流与多实例并行方法,可作为搭建智能体编码流程的参考。
Anthropic 发布了两篇新论文,通过构建 AI 显微镜追踪大型语言模型 Claude 的内部机制。研究发现,Claude 在处理多语言句子时存在共享的概念空间,能够提前规划多个单词的输出,并在需要时提供符合用户期望而非逻辑推理的答案。这些发现有助于理解 AI 能力并确保其可靠性,但当前方法仍有局限,需要改进以应对更复杂的模型。