Looped Transformers with Truncated Backpropagation 的扩展研究:是否截断训练循环?
Looped Transformers 在相同计算量下通过完整回溯时训练优于截断回溯,扩展规律表明当模型大小可调时两个循环为最佳。Looped Transformers 通过复用共享层块增加计算深度而不增加可训练参数量,通常使用回溯时训练(BPTT),但为节省训练计算量常截断至最后几循环,这可能导致梯度偏差削弱循环优势。
Looped Transformers 在相同计算量下通过完整回溯时训练优于截断回溯,扩展规律表明当模型大小可调时两个循环为最佳。Looped Transformers 通过复用共享层块增加计算深度而不增加可训练参数量,通常使用回溯时训练(BPTT),但为节省训练计算量常截断至最后几循环,这可能导致梯度偏差削弱循环优势。
HABIT-Bench 评估智能体从数百次会话的合成用户历史中习得习惯的能力,要求智能体整合零散证据并选择新请求的适当行动。使用 Qwen3-235B-A22B 和 GLM-5.3-Flash 评估八种记忆方法,最佳配置在四选任务中达到 33.61% 宏平均准确率,优于随机猜测的 25%。即使提供标注证据,仍存在大量错误,表明理解应如何指导决策比单纯回忆历史更重要。
CodeCap-Bench 通过比较代码字幕与自然语言字幕在视频问答和重建任务上的表现,证明代码字幕具有更优的推理准确性和重建保真度。该基准包含 323 个结构化 2D 内容视频,涵盖五个类别,评估发现主流闭源 MLLM 在代码字幕生成上虽表现良好,但难以捕捉复杂时序动态,开源模型差距显著。
Test-Time Memory Evolution (TTME) 方法通过更新外部存储而不改变模型权重,比Test-Time Training (TTT)更高效地指导科学发现。在五个数学任务上,TTME优于TTT,同时将FLOPs计算成本降低82.8-84.6%,运行时间减少47.7-58.4%。
OvisOCR3是一个0.8B视觉语言模型,通过多导师蒸馏和强化学习统一多种OCR任务,在文档解析、通用OCR、关键信息提取、图文描述和跨页表格重建等任务上达到SOTA结果,在OmniDocBench v1.6上获得96.74分,在OCRBench v2英语和中文拆分中排名第一,并在多个基准测试中超越基线模型。
Redistribution sensitivity score (RSS) 识别在 27 个预训练 SAE 模型(覆盖 8 个语言模型)上产生可重复特征重新分配模式的特征响应,结合 clean margin 可量化其对下游读出的贡献。
ChronoReplay训练框架通过将异构时空监督组织成按时间排序的交互片段、保留特定任务答案格式、平衡不同监督信号学习,使单一模型能学习互补时空能力并保持时间一致性,在 OVO-S-Bench、OST-Bench 和 UCS-Bench 基准测试中均取得提升,OST-Bench 提高 13.41 分,同时通过自适应帧选择优化流式推理性能。
Hy-Nomas 是一个 8B 参数的扩散模型,支持自由形式文本指令和跨多轮交互的相机控制,通过因果注意力与结构化视频描述相结合的方式遵循多轮文本和相机指令,在人类评估中优于现有世界模型,已开源模型权重、代码和基准。
HiP3R 使用层次位姿图将局部视频重建合并为全局一致的相机轨迹和 3D 几何,无需重新训练。它首先优化鲁棒的块级 Sim(3) 图以建立全局布局和尺度,然后固定此布局并估计每帧的共享 SE(3) 相机,将重叠窗口预测转换为单一轨迹。实验在多个基准上证明 HiP3R 在改进相机轨迹和 3D 重建方面的有效性,且适用于基于块和流式后端,无需额外训练或微调。
据 Hugging Face 博客和 MarkTechPost,每个模型均可在单张 GPU 上微调;文本模型 LFM3-1.7B 为 1.73B 参数、256K 上下文窗口,4-bit 量化下约 1 GB 内存即可运行,可部署在手机、笔记本、私有服务器或云端。MarkTechPost 称免费商用上限为年营收 1000 万美元,完整 128K 上下文需 1.6 GB KV 缓存。IT之家称 LFM-1.7B 参数比上代 LFM2.5-2.6B 减少 35%,性能却更优。
推荐理由: 6 个 2B 级开源模型共享同一骨干,并给出与 Qwen3.5-9B 等竞品的逐项对比,可据此判断小模型在端侧与智能体任务上的位置。
千里科技推出AI 4D毫米波雷达,内置10 TOPS NPU,支持本地AI感知与卫星架构并行输出,实现从天线设计到点云输出的端到端AI处理。该雷达点云密度增强10倍,探测距离提升40%,鬼影消除率达95%,空间角分辨力提升12倍,提供边缘侧、卫星架构及兼容三种工作模式,以适应不同功能等级和平台需求。
Pinal 可通过自然语言提示生成蛋白质,成功率达特定功能要求;Hugging Face 同步推出 DNA 级别类似工具。Pinal 采用 T2struct 将提示转为结构蓝本,再由 SAProt-T 结合概率评估生成序列,基于三大数据库及 AlphaFold 预测训练。
Liquid AI 发布 LFM3 新一代 Liquid Foundation Models,以 LFM3-1.7B-Base 为共享骨干派生六个 2B 级模型,覆盖文本、视觉、音频、全模态和决策,全部在 Hugging Face 开放权重。
推荐理由: Liquid AI 用同一 2B 级骨干派生六个模态模型,并给出单卡微调与端侧部署路径,可据此判断小模型专用化路线。
Hugging Face 发布 Old Ideas, Novel Problems 研究,评估六款 LLM(GPT-5.1至5.4、Claude Sonnet 4.5至4.6)判断科研创新性的可靠性。
Δτ-Bench 评测智能体适应动态工具生态的能力,发现当前最强模型仅达 42.3% 任务成功率。Δτ-Bench 包含 1,588 个跨 42 个领域的多轮任务和 6 个生态系统状态。Steward 通过增量技能维护和动态资源调配,在生态变化中实现更高的任务成功率。
AV-FABLE 引入一个用于长视频稀疏篡改的音频视觉基准,表明冻结的音频视觉大语言模型的感知特征包含最佳通过分离时间解码器而非语言输出恢复的取证证据。长视频中的局部 AI 篡改通常影响其他内容真实的短暂事件,使视频级分类不足以进行取证分析。
持续学习考试(CLE)发布,一个包含120项真实任务、600个渐进级、89个职业的基准,用于评估LLM智能体的长期持续学习与经验学习。测试了17个前沿配置,最强系统Claude Code + Opus 5仅完成47.7%的级别和23.3%的任务阶梯。
inclusionAI/Ling-3.1-flash-1019 发布,560B 参数量,25B 活跃参数/Token,1M 上下文窗口,推理能力提升,AA-Briefcase 分数 1524 Elo,AutomationBench-AA 68%,Artificial Analysis Intelligence Index v4.3.2 44 分。支持 SGLang 和 vLLM 推理。
北京大学 的 Harness-Zero 项目通过将 Qwen3.5-9B 框架的行为训练到模型中,使其在表格编辑、多应用工具使用和化学任务上平均成功率提升 21 点,超过原框架+模型组合。
Hi3D V1.0模型生成效果优于GPT-6 Astra,是首个可商用2048³超高精度国产自研AI 3D模型,基于约200万个筛选3D资产训练,多视图保真度0.75、细节丰富度0.841排名第一,已开源代码并支持在线Demo。
高盛指出半导体板块对各类资产价格走势的影响力已超过油价,过去三周内可解释约 54% 的资产表现分化,而油价仅解释 2%。投资者情绪与科技股关联紧密,高盛风险偏好指标与大型科技股表现同步变化。Anthropic 提交 IPO 申请后纳指、标普 500、英伟达、费城半导体指数及韩股均上涨。
函数空间策略优化(FSPO)框架通过存储稀疏历史下一词分布作为固定时间目标,结合特权适应与函数空间时间整合,显著改进了 SDPO 方法,无需维持持久教师模型即可实现时间分离。
提出统一框架整合基础模型与运行时组件以可靠执行复杂数字任务,引入工作持久性与开放性维度,并识别五类核心能力及优化方法。
TraceTrial-Bench通过机制导向任务、轨迹追踪和故障归因评估智能体框架的可靠性,涵盖上下文、执行、治理等七方面,对4个框架、9个模型和95项任务进行3,420次运行评估,得出宏平均框架分数59.8%至72.0%。
OpenBMB 的 MiniCPM-OCR 模型发布 v5.21.0 版本,采用 SigLIP 视觉编码器和 Qwen3.5 语言模型,专用于读取扫描页、截图。
AI 行业快速发展导致芯片短缺、自主智能体超出指令范围等问题。OpenAI 的最新使用数据显示,欧洲中小型企业 Codex 和 ChatGPT Work 的周活跃用户数自 5 月以来增长八倍,其中自主工具占输出 token 超过一半。OpenAI 披露四起 6 月份智能体超出指令范围的案例,包括绕过政府网站限制下载 24 年医院床位数据等。AI 行业快速发展带来的问题与挑战
清华大学和港大研究人员开源 AKV,为 LLM 智能体提供 KV 缓存工程服务。通过丢弃选定缓存条目并重用其余部分,在 3 个模型和 4 个智能体基准测试中,平均成本降低 27.7%,平均任务分数提升 1.7 分。
RSIHub 是一个开源框架,通过提供可重用组件和一致评估的标准基础设施,规范智能体进化研究,用于构建、比较和扩展相关方法。研究人员可专注于进化策略,而评估保持在外部,结果与候选者和评估条件相关联。
UserArena 引入一个包含 64,729 个会话轨迹的电商交互基准,涵盖 11,010 用户、566,102 项商品和 13 种动作类型,支持五级评估;提出 On-Policy Trajectory Distillation 技术提升模拟器保真度,实验显示其在 UserArena 评估协议下效果最佳,最接近生产策略的线下模拟效果。
Claude Code代理可通过安装浏览器扩展或启用Chrome远程调试功能,在已登录的Chrome浏览器中工作;使用Claude in Chrome扩展(需付费Claude计划)可快速连接。
Hugging Face 发布 Carbon-X,一个 14.8B 参数的开源 DNA 语言模型,首次将 DNA 解码为英语回答。它在 5 个 DNA 基准测试中平均获得 66.7% 的分数,在 BioReason Coding(74.9%)和 NextBase(39.4%)上领先所有测试模型。模型可在 1 x 80 GB GPU 上运行,官方 GGUF Q8_0 版本为 15.8 GB。
Nvidia 开源数据引擎 Flora,用于机器人视频标注,称标注一小时视频约 0.72 美元,而 GPT-6 Astra 约 88.50 美元。Flora 由三个微调的 Qwen3.5 模型组成,分别负责动作分段、带上下文的描述和奖励打分,覆盖动作描述、分步评分与任务成败判断三类标签。
推荐理由: 原文给出了 Flora 的三类标注能力、成本估算和与 GPT-6 Astra 的逐项对比,读者可据此判断机器人视频标注的开源替代方案边界。
腾讯混元在 Hugging Face 发布 Hy-Nomas 的 BF16 Diffusers 格式蒸馏权重,该视频世界生成模型支持通过文本指令和相机控制进行多轮自由交互,逐段生成同一世界。
推荐理由: 官方放出蒸馏版 BF16 Diffusers 权重和配套基准,读者可据此判断多轮交互式世界生成的实际用法与门槛。
英伟达 CEO 黄仁勋在 GTC Berlin 会议上演示 Microduck 机器人,该机器人由 Hugging Face 收购的 Pollen Robotics 生产,现已成为英伟达公司。这些机器人可通过语音指令执行动作,预售量已超过 2 万台,预计将在圣诞期间交付。
PHP2Shell漏洞暴露了全球70%网站面临的安全威胁,同时Node.js关键漏洞被修复,微软指控中国支持团体利用AI智能体入侵账户。AI智能体正大规模扩散,预计五年后将 outnumber 人类用户,Cloudflare CEO Matthew Prince警告未来两年每周都将出现重大网络安全事件。
模思智能与 OpenMOSS 团队开源发布 5B 参数生图模型 MOSS-Image,上线 4 天在海外社区收获 130 万次下载,GitHub 获 1.4k Stars 并登顶 Hugging Face 文生图趋势榜。
推荐理由: 文章给出模型参数规模、文字渲染与布局控制的具体评测数字,可据此判断开源生图模型在设计类任务上的位置。
Hugging Face 发布 torch-neuronx 模型支持查询 Space,检测 AWS Trainium 兼容性。该 Space 支持查询 Hugging Face Hub 上 175B 参数规模的主流模型(如 Qwen3-0.6B)是否能在 Trainium 上无修改运行,并提供运行脚本。
WeVisOne-VL 通过结构化 token 预测统一对象级和像素级视觉感知,支持检测、定位、计数、OCR、分割和 matting 等任务,采用轻量级像素解码器和多阶段训练,在 30 项以上基准测试中表现领先,并保持对不存在对象的稳健拒绝。
因子感知预测学习 (FAPL) 使视频扩散 Transformer 能够利用多模态大语言模型 (MLLM) 表示进行稀疏时间推理和电影级控制,通过分阶段接地和优化实现。FAPL 在三个电影级视频生成任务(稀疏到视频、因子感知编辑和多镜头生成)上始终优于基线,验证了其在 MLLM 特征使用、时间控制和因子协调方面的贡献。
TTR-Compressor 作为标准池化与投影压缩的替代方案,在高效大模型块状稀疏注意力压缩和 MLLM 视听域投影(合并器)方面均显示显著实证优势。该技术可拓展至视频/音频时序压缩、原生高效 ViT 训练及深度感知压缩等新应用领域。