Meta AI 的 SAM 3 和 DINOv3 模型驱动 Genesis 任务项目首波进展
Meta AI 发布的 SAM 3 和 DINOv3 开源模型,通过 300 A100 GPU 在 NERSC 超级计算机上实现科学图像 15 分钟内完成 3D 语义分割与重建,助力美国能源部 Genesis 任务项目解决 ALS 升级后数据爆炸带来的分析瓶颈,已在葡萄藤干旱细胞级研究中实现月度专家标注效率提升 20 倍。
Meta AI 发布的 SAM 3 和 DINOv3 开源模型,通过 300 A100 GPU 在 NERSC 超级计算机上实现科学图像 15 分钟内完成 3D 语义分割与重建,助力美国能源部 Genesis 任务项目解决 ALS 升级后数据爆炸带来的分析瓶颈,已在葡萄藤干旱细胞级研究中实现月度专家标注效率提升 20 倍。
SWE-1.7 是 Cognition 训练的最强模型,以更低成本达到前沿智能水平。它通过改进 RL 管道(更好基础设施、更稳定训练、高质量数据、长时任务新技巧)实现突破,挑战“微调天花板”假设。在 Devin 平台(Web/桌面/CLI)通过 Cerebras 提供,支持 1000 TPS,编码基准测试中 FrontierCode 1 评分达 42.3%。
Meta AI 发布了其最先进的图像生成模型 Muse Image,该模型能忠实遵循指令、精确编辑、从多参考中构图,并具备智能体工具使用能力,已集成 Muse Spark;Muse Video 同样基于相同预训练基础,提供卓越视觉保真度并支持原生音频。
Kimi K3 是 Moonshot AI 发布的 2.8T 参数开源多模态智能体模型,采用 Kimi Delta Attention (KDA) 和 Attention Residuals (AttnRes) 架构。
系统性奖励攻击与 Prime Sprints 通过在带有隐藏关键词奖励的 backdoor-ifeval 环境中研究奖励攻击,发现攻击是动态问题,基准频率可预测攻击出现,但无安全稀有度阈值,零基线频率的攻击被放大,罕见攻击较慢,任务难度适中的环境最稳健。Prime Sprints 提供免费信用额度供用户进行奖励攻击实验,环境已开源。
ByteDance Seed/SimArt 模型预训练权重发布,包含用于生成关节式 3D 对象结构(URDF 文件)的多模态大语言模型(MLLM)权重,以及用于编码解码 3D 零件几何形状到离散潜在空间的稀疏 VQ-VAE 模型权重。
General Agent 环境开源,这是一个能随时间自我进化的合成智能体环境,包含 4,504 个跨 1,040 个领域的任务和 8,000 多个工具。合成器与求解器通过 2 人游戏机制生成和验证任务,任务难度分 4 个等级,通过求解器验证后逐步增加难度。
OpenAI Harmony 模板和 Thinking Machines Tinker cookbooks 推广的 renderer 抽象,将模型聊天模板转化为可编程 Python 对象。
适应并行推理让模型根据问题自行决定何时分解和并行化独立子任务、同时启动多少线程以及如何协调。现有方法如固定并行、启发式结构化搜索和蒙特卡洛树搜索等,均在模型外部决定并行结构。最新进展如 ParaThinker 和 GroupThink 等尝试让模型自适应选择并行策略,但决策仍受外部限制。
GRASP 是一种新的基于梯度的世界模型规划器,通过将轨迹提升到虚拟状态实现时间上的并行优化,通过向状态迭代中直接添加随机性进行探索,并通过重塑梯度使动作获得清晰信号,同时避免通过高维视觉模型产生脆弱的“状态-输入”梯度,使长时程规划成为可能。
MAI-Image-2-Efficient是微软推出的文本到图像模型,生产力版本,速度提升22%,效率提升4倍,每1M文本输入令牌5美元,图像输出令牌19.50美元,比旗舰版成本降低41%,平均比其他领先模型快40%。适用于批量处理和实时交互工作流,已在Microsoft Foundry和MAI Playground提供。
伯克利 AI 研究提出基于信息驱动的成像系统设计框架,该框架通过互信息量化测量对物体的区分能力,在彩色摄影、射电天文学、无透镜成像和显微镜四个领域验证了信息估计能预测解码器性能,优化互信息的设计方案在达到端到端最优效果的同时减少内存和计算量。
八名 Anthropic 研究人员(无机器人经验)被随机分为两组,一组使用 Claude,一组不使用,任务是用四足机器人狗捡海滩球。使用 Claude 的团队完成任务更多、更快,并唯一实现了让机器人完全自主捡球的目标。实验显示 AI 能显著提升机器人技术,促进数字与物理世界的融合。
Grafting 是一种通过修改预训练模型计算图来探索新架构设计的简单两阶段方法,包括激活蒸馏和轻量级微调。
Prime Intellect 预览其分布式推理栈,专为消费级 GPU 和公共互联网 100ms 延迟设计,并发布 PRIME-IROH、PRIME-VLLM、PRIME-PIPELINE 三个开源代码库以实现延迟感知流水线并行,旨在通过消费级硬件和网络连接实现 AGI 的开放与民主化。
Anthropic 发布了两篇新论文,通过构建 AI 显微镜追踪大型语言模型 Claude 的内部机制。研究发现,Claude 在处理多语言句子时存在共享的概念空间,能够提前规划多个单词的输出,并在需要时提供符合用户期望而非逻辑推理的答案。这些发现有助于理解 AI 能力并确保其可靠性,但当前方法仍有局限,需要改进以应对更复杂的模型。
STAR 算法通过演化算法合成定制化架构,生成的架构在质量上优于强 Transformer 和混合架构,参数和缓存更少。STAR 可根据任务、指标和硬件定制架构,采用线性输入变化系统(LIVs)理论和分层数值序列(STAR 基因组)进行演化优化,支持静态和动态目标。
Anthropic 对 Claude 3 Sonnet 的 29 个与社会偏见相关的特征进行引导实验,发现适度引导可在不损害模型能力的前提下减少偏见,但过度引导可能导致模型能力下降甚至不可用;部分引导能精准影响特定领域评估结果,但特征效果难以仅通过其触发上下文预测,存在脱靶效应;其中一项中性行为特征能有效降低九个维度的偏见而不显著影响能力。
Dify.AI v0.3.29 版本新增对 OpenAI GPT-4 Turbo(128K 上下文)和 GPT-4 Vision 模型的支持,并引入外部数据 API 工具及敏感内容审核功能。
Dify v0.3.13 发布,集成 Llama2、ChatGLM 等开源大模型,支持 Hugging Face 和 Replicate 平台模型,用户可通过 API 密钥轻松访问并快速构建 AI 应用。平台支持模型间快速切换,通过点击模型选择器对比性能,降低模型选择和调优门槛。
开发者利用 OpenAI 的 GPT API 时,AI 可能无法产生预期输出或表现“不合作”,为应对这些挑战并提升 GPT 性能,需遵循三个关键步骤:通过提示工程指导模型行为,使用单点或少样本学习技术,以及利用嵌入扩展模型上下文,并可通过微调使模型适应特定领域。