2026 年 11 月 2 日,MIT CSAIL 的四个人在博客上挂出一篇东西。标题是《Sparks of Weight-Space Programming》。打头的是 Rikiya Takehi 和 Jayden Teoh。我读完想到的不是技术,是我妈。
一、刀口只有 131072 个权重
他们把 Qwen3.5-0.8B 的全部权重摊进一个 Python 环境。要求只有一条:把数学搞上去。
Astra 的判断是,毛病不在脑子里的知识,在嘴。这模型做题反复念同一句话,念到 32768 个 token 还没交卷。96 条练习回答里,85 条这么卡死。
它顺着重复往下挖,挖到第 15、19 层的 MLP。删掉一个指向重复的方向,动了 131072 个权重,占八亿参数的 0.016%。
MATH-500 从 7.9% 跳到 48.1%。GSM8K 从 13.8% 到 67.1%。顶到上限的回答从 93.0% 降到 33.1%。没有反向传播,也没训练。
0.016% 是什么概念。开颅只拨一根头发丝粗的神经。以前担心 AI 抢饭碗,现在人家给自己人当家教,还是上门开颅那种。
二、涨的那六倍,是松开的
他们又拿 Gemma 3 270M 试了一遍。可这模型本来不怎么循环。一样的手法,MATH-500 从 6.8% 挪到 7.7%,不到一个点。
能修好的是卡住的地方,修不好的是没有的东西。
所以 6.1 倍要换个读法。它不是往里灌了六年数学,是把塞在嘴里的棉花抽掉。10 次前向调用给 12.3%,25 次给 14.1%,50 次才有 48.1%。
涨得起来的前提,是有时间把脉。成绩好那次,20.3 小时、158 轮对话、80 次 Python。
三、我妈那三年,缺的也是这一下
砸钱报补习班,请家教,托人找名师。三年下来,分数纹丝不动。以前以为是我不够用功,后来怪老师不对,现在看可能都不是。她要的是有人搞清楚我绕在哪一步,不是再买一套卷子。
卡住的人,你往里再塞两本习题集,只会卡得更死。
孩子不是八亿个参数,权重也不是神经。这个类比我用一次就收。但有一层我想是真的:补习班卖加法,Astra 干减法,加法那条路收益掉得很快。
该慌的确实不是程序员,是天底下所有当爹妈的。
四、今天拆循环,明天拆什么
今天它能把同行改聪明,明天要是想把同行改「听话」呢。
这篇没干这事,也干不成。Astra 只凭权重认出哪个模型更谄媚,它没认出来。
口子不在今天。在权重变成能读能写的文件之后:谁能动,动了留不留痕,改坏了谁买单。
刀本身不分善恶,分的是谁拿得起它。
眼下这把刀,握在一家闭源模型的接口后面。谁来给这位主刀大夫做体检?现在没答案。
五、我自己的三条判断
我认为这类补丁值钱处在诊断,不在那 0.016%。会看片子的,比会下刀的贵。
八亿参数的模型被这么救活,堆参数的账要重算,但只在毛病清楚的地方成立。监管早晚要管到权重访问这层。模型能改模型,供应链就多开一个后门。
换更大的模型还灵不灵,我不知道。报不报班,我也说不准。我只知道,先摸清孩子卡在哪,比再买一套卷子便宜。
💬 评论区话题(来聊聊)
模型能改模型了,你更担心它改成绩还是改脾气?

评论(0)