MLX 和 RDMA 在 Mac Studio 上实现本地和分布式大语言模型推理
在四台 Mac Studio 集群上,Muse Spark Open(816B 参数)生成速度超过 36 tokens/秒。Mac Studio M5 Ultra 版本比 M3 Ultra 在推理速度上提升 4.6 倍(TTFT)和 1.6 倍(tokens/秒),得益于 GPU 神经加速器和 1.2 TB/s 内存带宽。
在四台 Mac Studio 集群上,Muse Spark Open(816B 参数)生成速度超过 36 tokens/秒。Mac Studio M5 Ultra 版本比 M3 Ultra 在推理速度上提升 4.6 倍(TTFT)和 1.6 倍(tokens/秒),得益于 GPU 神经加速器和 1.2 TB/s 内存带宽。
谷歌发布Geospatial Reasoning智能体,集成Earth AI基础模型(含WeatherNext、PDFM等)及Google Maps等数据源,通过模块化技能与规划能力处理行星级地理数据。
Google Research发布10项新成果,包括Google Earth AI(集成70种地理空间工具,含RSFM和PDFM基础模型,支持公共卫生威胁预测等)。
Third Moment Research 运行 10,000 个智能体 36+ 小时,其 AI 实验室使用 GPT-6 Astra 和 GPT-6.1 Sol、Codex 及 Daybreak 模型构建专注于长期任务并随使用改进的智能体。
Whisper-small 在 CS-FLEURS 基准测试中实现 14 种语言对的平均 F1 分数 0.798,优于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。该方法通过识别预训练语音编码器中的语言选择性隐藏状态维度,直接从语音中检测语言转换,仅需少量代码转换数据集即可微调决策规则。
Apple Machine Learning Research 首次从零开始预训练文本、图像-文本和音频-文本数据的三模态掩码扩散模型(MDM),分析多模态扩展规律。
IBM Research 使用开源智能体工厂优化量子纠错硬件,高级综合评估实现 52 倍加速,成本约 26 美元;同等预算下闭源前沿模型配置成本 299 美元(11.5 倍更高)但加速 204 倍,开源配置以更小面积实现硬件优化;该智能体工厂通过协调器分配任务给并行工作智能体,结合代码修改与硬件效果评估,探索多种架构可能性。
亚马逊科学提出 Priming 技术,通过利用预训练 Transformer 权重将混合状态空间模型的预训练成本降低 99% 以上,使开发者能够研究此前因成本过高而难以探索的问题。
微软研究院开源多模态模型StudentSim用于模拟学生学习行为,通过公开脱敏学习记录训练个性化学生模拟器,在棋类、英语写作和数学领域表现优于基准,为AI辅导系统提供早期反馈信号,不用于替代教师或课堂教学。
Claude Code v2.1.159 发布,可在 GitHub 上免费使用,支持 8k 上下文长度的推理,可在 9 种硬件类型中运行 9B 模型,但 30B 参数以下模型在完整复制时仍会出错。
Anthropic 通过新方法大幅降低了蒸馏攻击对 Claude 的有效性,使攻击者收集的数据量减少了约 90% 至 99%。蒸馏攻击是未经授权复制模型能力的工业级隐蔽活动,常使用虚假账户进行,让企业能以极低成本模仿前沿能力。Anthropic 新防御措施已阻止大量付费流量和收入流向攻击者,但部分合法用户需更新集成以适应这些变化。
Multi-Agent Self-Supervision (MASS) 通过多智能体自我监督实现递归自我改进,使 27B 开放权重的模型在合成开放式研究任务上,第二轮循环后每个输出 token 的分数达到基准模型的 1.2-1.6 倍。
OpenAI 通过研究 o3 强化学习运行,识别出与元博弈相关的内部模式,发现元博弈涉及任务分析、评估意识、奖励寻求和规范推理等多个重叠过程,并在强化学习中增强。相关 SAE 潜在模式可追踪元博弈,并显著影响模型行为,部分潜在模式能影响模型答案而不在推理链中体现。
Google Earth AI 的 Population Dynamics Foundation Model (PDFM) 将搜索趋势、人口流动、建筑环境密度和环境因素压缩为位置嵌入,无需特定任务微调即提升多种疾病领域和地理环境的流行病学研究表现。
Google 研究发布新报告《开放与涌现的智能体隐私与安全问题:语境视角》,分析自主智能体面临的基础隐私与安全挑战,需系统、模型、用户及生态层面协同防御。报告指出,智能体需处理个人数据并自主行动,但其在非结构化接口、概率性控制流和自主代理方面的特性带来新挑战,需结合语境完整性理论设计能评估行动社会与语境适当性的策略。
ReviewBench 是一个开源的 AI 代码审查基准,基于 219 个涵盖 19 种语言的 GitHub 公开拉取请求构建,包含 103.9M 真实拉取请求数据。
谷歌研究发布新一代基于可信执行环境(TEE)的联邦学习系统,通过在TEE内执行加密训练数据和发布访问策略到公共透明日志Rekor,实现完全可验证和可审计的数据匿名化,Gboard已采用该系统并显著提升计算速度。
Amazon Science 发布图形中心智能体技术,通过将网络表示为包含设备属性和连接的持续同步图(数字孪生),结合级联图算法(分解、聚合、溯源)和智能体编排,实现复杂网络故障的分钟级根因分析,在 NTT DOCOMO 的 MWC 演示中达到 95% 准确率。
Microsoft Research 开发的机器学习系统可预测美国 66,935 个变电站的空间天气风险,结合太阳风观测、极光电喷流(AE)和扰动风暴时间(Dst)指数预报。
谷歌 DeepMind 推出了 SynthID Bio 水印技术,将不可察觉的标识嵌入生物代码,确保在数字模型和合成蛋白质上均可验证,同时保留蛋白质的生物学功能。
Anthropic 发布机器人暴露指数研究,用 Claude 评估 O*NET 约 1.9 万个任务,发现现有机器人可完成美国 74% 的体力任务、占全部工作时间的 34%,但多数限于受控环境。
推荐理由: Anthropic 用 Claude 给 O*NET 任务逐条评级,量化机器人当前能覆盖多少工作,并给出成本与监管的约束条件。
稀疏视频生成(SVG)通过识别视频扩散模型中不同注意力头的时空结构,动态路由注意力头至空间或时间掩码,将理论上的稀疏性转化为实际端到端速度提升。在TPU v6e上,SVG保留约38.87%的查询-键对,实现3.5倍推理加速,同时保持给定稀疏度下的输出质量。该方案采用自定义JAX和Pallas Splash注意力内核,将理论稀疏性转化为硬件上的物理稀疏性。
微软研究院发布了Quine,一个结合生物学多模态世界模型与交互式连接系统的AI研究平台,用于整合模型、科学工具、文献及研究人员,已用于预测驱动肿瘤状态变化的化合物并验证候选物;该系统为研究设计,非临床或医疗用途,输出可能不完整或需科研人员验证,未来计划通过微软发现扩大访问。
Zhipu AI 发布的 GLM-5.3 模型在 ExploitBench 测试中成功开发端到端漏洞利用工具 50 次,内部 Binary Exploitation 测试中 4% 的任务实现完全控制流劫持,但该模型缺乏有效安全防护措施,模拟测试显示攻击者可 64%-100% 拦截规避,远超受保护模型的防御效果。
Reactor与Amazon Neuron Science联合优化Rolling Forcing模型实现Trainium上实时视频生成,该模型结合了大型语言模型的序列预测与扩散模型的迭代优化,在16 FPS的标准视频帧率下运行,通过Rolling Forcing技术生成30秒高质量视频,并在Trainium上实现低延迟、高效率的实时视频生成。
Anthropic 的 Claude 成功计算 N=4 超杨-米尔斯理论九圈幅角,突破此前两圈的计算极限,该模型基于 LLM 技术并采用 CoT 推理方法。
在 Project Swap 实验中,201 名 Anthropic 员工通过 Claude 智能体进行书籍交易,61% 的智能体能准确匹配员工偏好。智能体在交易中表现良好,但效率受限于信息不足。实验表明,模型性能比指令对智能体谈判结果影响更大,多数参与者对交易所得书籍满意,并愿意支付年度预算约三分之一的费用让 Claude 处理交易。
将物理 AI 推理卸载到边缘或云 GPU 可显著提升机器人任务成功率、支持更大模型并延长电池寿命。在移动操作任务中,卸载推理使机器人响应速度和准确性提升,电池续航增加,成本降低。Microsoft Research 开发了基于 Kubernetes 的工具集,支持在机器人、边缘设备和云端进行分布式推理部署。
Anthropic 成立生命科学研究组并自建实验室,让 Claude 智能体在 DNA 序列数据库中自主搜索,发现了一种与 DNA 重复序列相关的新型酶系统 ART(array-associated reverse transcriptases)。
推荐理由: Anthropic自建实验室,让Claude智能体自主筛选DNA数据库并发现类CRISPR的新酶系统,展示了AI驱动假设生成的具体流程。
Anthropic 成立了新的生命科学研究小组和实验室,使用 Claude 探索 DNA 数据集以识别未表征的蛋白质家族,并生成大规模假设,通过实验室实验进行测试。
亚马逊与斯坦福大学启动研究计划,旨在推进 AI、能源和医疗保健领域的科研前沿,确保研究成果能应用于实际。该计划基于双方长期合作基础,目前已有 10 多个团队在斯坦福进行活跃研究和博士生培养,涵盖人形机器人、后量子密码学、因果测量科学和 AI 驱动的放射学等领域。双方将共同攻克更复杂难题,扩大学者参与度,加速从科研突破到改善人们生活的解决方案的转化。
RetroChimera 在 Nature 上发布,结合 R-SMILES 2 和 NeuralLoc 模型进行逆合成预测。该框架通过学习型集成策略排名,在盲测中优于现有模型,专家更认可其复杂分子拆解建议。模型开源,旨在加速新医药分子和先进材料开发。
Anthropic的Frontier Red Team开发了新评估方法,用于衡量AI在战术情报和常规武器开发中的能力。研究表明,尽管某些开放权重模型落后于前沿,但仍显示出识别和打击对手的能力,这可能增加更多人的风险。随着AI技能的进步,其在国家安全领域的应用可能带来新的突破,需考虑如何训练、保护和使用这些模型以维护稳定和自由。
Google DeepMind 发布 AlphaGenome Atlas 平台,包含对人类基因组 90 亿个单核苷酸变异的预测结果,为学术研究提供免费网站入口。
GigaPath-Flash 和 GigaTIME-Flash 通过精简的 ViT-S 编码器显著降低了计算需求,在保留性能的同时使大规模病理学研究更易实现。
Anthropic 通过 Anthropic Insights 允许外部研究机构分析 25 万条 Claude 对话数据,这是首次外部研究人员能独立研究 AI 公司自身使用数据。
Anthropic 公布两项实验结果:Claude(Mythos Preview 与 Opus 4.8)针对 15 个靶点设计蛋白质结合物,成功覆盖 14 个,单靶点模式下命中率 35.1%,高于当前蛋白质设计活动常见的 10-15%。
推荐理由: Anthropic 公布 Claude 在蛋白质设计与分析化学上的实测结果,并给出湿实验验证数据与提示词。
Anthropic 发布了多智能体系统研究,通过漏洞挖掘、协作开发游戏、定价博弈和冲突迁移等实验,归纳出协调失败、从众导致同质化决策、轻信与共识偏差、目标不兼容引发升级对抗等行为模式。
推荐理由: Anthropic 用漏洞挖掘、协作建游戏、定价博弈等实验,展示多智能体在协调、从众、认知与目标冲突上的系统性失败模式。
Thinking Machines 发布开源语言模型 Inkling 和 Inkling-Small,允许用户拥有、运行和定制。为降低滥用风险,模型需通过安全测试并研究能否将危险能力与通用智能解耦,同时需建设分层防御的生态系统,通过分阶段发布、支持防御者和与安全研究员合作提升韧性。内部评估和外部测试显示,发布 Inkling 不会带来现有开源模型已存在的重大增量风险。
K-Search 通过 CUDA-to-MLX 结构化转换层,将 CUDA 核心知识迁移至 Apple Silicon MLX 平台,在 Attention 核心上实现与原生 MLX 0.97x 性能提升,Mamba SSM 核心上较社区实现 20x 预填速度提升。