跳到正文
实时
热点事件历史事件

MIT让GPT-6 Astra直接改写Qwen权重引争议

6 篇报道4 个报道来源14 天前更新

先了解这件事

AI 综述

MIT CSAIL团队提出“权重空间编程”(Weight-Space Programming),让GPT-6 Astra直接读取并修改Qwen3.5-0.8B的权重,不使用梯度下降、反向传播或传统训练循环。团队报告称,仅调整约0.016%(131072个)参数,MATH-500就从7.9%升至48.1%,GSM8K从13.8%升至67.1%,IFEval从21.0%升至62.3%。 后续讨论指出,这一结果并非“只看权重”就能实现:Astra在Qwen实验中通过Python环境读写权重,并可用GSM8K和MATH训练集练习题做最多50轮前向推理;真正仅凭原始权重、无工具、不运行网络的设定,只出现在1.7万至17.2万权重的小型网络实验中。 spaCy作者Matthew Honnibal质疑该研究存在严重误导,称其把读权重、写权重和修复大模型混为一谈,呈现方式模糊了不同能力的界限。团队称,当前能力仍受上下文长度和工具框架效率限制,正在构建权重空间编程的基准与测试框架。

AI 根据报道生成 · 更新于 14 天前

事件进展

3 个进展

  1. 11月5日 15:10 · 1 篇报道
    MIT神作被锤:Astra爆改Qwen权重?就吹吧!
    量子位:spaCy作者炮轰MIT Astra研究:修改Qwen权重被指障眼法
  2. 11月3日 20:21 · 1 篇报道
    Astra can read and write weights to improve Qwen
    Hacker News · 300+ 热帖:Astra并非仅通过读取权重来改进Qwen,实验设计存在误导
  3. 11月3日 02:21 · 4 篇报道
    Astra can read and write weights to improve Qwen
    量子位:MIT 实验:GPT-6 Astra 直接修改 Qwen3.5 权重,数学能力提升约 6 倍

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. 量子位
    spaCy作者炮轰MIT Astra研究:修改Qwen权重被指障眼法

    spaCy作者Matthew Honnibal质疑MIT Astra研究,称其修改Qwen3.5-0.8B权重提升数学成绩的实验存在误导,将读权重、写权重和修复大模型混为一谈;Honnibal指出,Astra修复大模型时需借助Python编程和多次前向测试,并非直接读取权重,批评其呈现方式模糊了不同能力的界限。

  2. Latent Space
    Latent Space 报道 AI 领域最新动态及深度访谈

    Latent Space 报道 AI 领域最新动态,包括前沿大模型直接编辑权重技术(如 GPT-6 Astra 编辑 Qwen3.5-0.8B 权重使 MATH-500 从 7.9% 提升至 48.1%),以及腾讯 Hy4 在 APEX-Agents 上取得 75.2 分、Kimi K3.1 Pro 在 Agent Arena 排名第 14 位的最新评测结果。

11月3日
  1. Hacker News · 300+ 热帖
    Astra并非仅通过读取权重来改进Qwen,实验设计存在误导

    Astra 在 17K-172K 权重网络实验中直接读取权重,但其在 800M 权重 Qwen3.5 数学能力提升实验中需结合 Python 编程和模型运行,并非仅通过读取权重实现;Astra 修改 0.016% 权重将 Qwen3.5-0.8B 的 MATH-500 从 7.9% 提升至 48.1%,并使 IFEval 提升 3 倍。

  2. IT之家 · AI精选
    MIT CSAIL 提出权重空间编程:GPT-6 Astra 修改 Qwen3.5-0.8B 约 0.016% 权重,MATH-500 成绩提升至 6 倍

    MIT CSAIL 研究人员提出「权重空间编程」,让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的神经网络权重,仅调整约 0.016%(131072 个)参数,就把 MATH-500 成绩从 7.9% 提升至 48.1%,GSM8K 从 13.8% 提升至 67.1%,IFEval 从 21.0% 提升至 62.3%。

  3. 量子位精选
    MIT 实验:GPT-6 Astra 直接修改 Qwen3.5 权重,数学能力提升约 6 倍

    MIT的实验让GPT-6 Astra直接读取并编辑Qwen3.5-0.8B的权重,仅改动0.016%的参数、不做训练和梯度下降,MATH-500得分从7.9%升到48.1%,指令执行能力也提高3倍。

  4. Hacker News · 300+ 热帖精选
    Astra 能读写神经网络权重并改进 Qwen3.5-0.8B

    研究团队提出 Weight-Space Programming,发现 GPT-6 Astra 可直接读写神经网络权重:仅凭 17,253 个权重就能判断网络训练的是哪款游戏,并在无梯度、无训练的情况下从零写出击败 PPO 训练 1 亿步的小型游戏网络。