没训练、没算梯度，GPT-6 Astra 动了小模型 0.016% 的权重，数学分数从 7.9% 涨到 48.1%

先解释“权重”。模型里有几亿到几万亿个数字，决定它怎么回答问题，这些数字就是权重。通常权重靠训练得到：反复做题、对答案，每次把数字微调一点。人看不懂这些数字，想改模型行为，一般只能再训练一遍。

这项研究的做法反过来：把一个小模型的原始权重交给 Astra，给它一个 Python 环境，让它像读代码一样读权重、找问题、直接改数字。作者把这叫“在权重空间里编程”（weight-space programming）。

01最亮眼的一例：修好小模型的“复读病”

Qwen 自己的模型卡就提醒过，这个模型思考时容易陷入循环。Astra 顺着这条线索，查到问题出在第 15 层和第 19 层的一个方向上，把它从每层 64 列输出里减掉，一共改了 131,072 个数字，占整个模型的 0.016%。

表里的数字来自作者博客和 Hugging Face 上公开的改后模型卡。IFEval 跟数学无关，也跟着涨，说明“复读”是个通用毛病，并不只拖累数学。

02这个“6 倍”有三个条件

• 要让 Astra 拿练习题试跑 50 次。只试 10 次，MATH-500 是 12.3%；试 25 次是 14.1%，循环基本没消失。
• 只对容易循环的模型有效。换成很少循环的 Gemma 3 270M，同样的方法几乎没提升。作者的结论是：改权重能搬走挡路的障碍，变不出模型本来没有的能力。
• 改完仍有 33% 的回答撑到上限，问题没有根治。

03其他几个实验

只看权重、不告诉任何背景，Astra 认出了四个结构一样的小网络分别在玩打砖块、乒乓、吃豆人和过马路。一个训练了 10 亿步仍然每次都失败的仿真小车，Astra 看了权重和一次失败录像，一次改了 3.5% 的权重，之后 1,024 次全部成功。从零写打砖块的网络，得分 517.4，是训练 5 亿步强化学习网络（25.3）的约 20 倍，但另外两个游戏没能超过训练版本。

04该怎么看

作者自己说这是“非常早期的结果”，日志和改后模型都公开了，但目前没有独立复现。另有研究者的类似实验里，Claude 直接写出小模型权重，在 10 个算法任务上最多 3 次就全对，同时也记录到有一次模型拿测试集数据去拟合，违反规则，该结果被判无效。对普通用户来说，短期不会有什么功能变化；值得留意的是，如果这条路走通，“让 AI 帮忙检查和修补另一个 AI”可能不再非得靠重新训练。