MIT新发明!让GPT-6 Astra轻松玩转模型权重

2026-11-04

嘿,朋友们,今天我要跟你们聊聊一个让人眼睛一亮的消息——MIT的科学家们搞了个大动作,把GPT-6 Astra变成了一个“模型修理工”,能够直接修改小模型Qwen的权重,结果数学能力瞬间暴涨了6倍!你没听错,简直像是给小Qwen喝了能量饮料,打了鸡血,成了数学小天才!

about image

这次的实验简直让人耳目一新。科学家们把Qwen3.5这个小家伙扔给Astra,并让它只修改0.016%的权重。就像给一个刚进学校的孩纸只改动一下课本,结果考分一下子从7.9%直飙到48.1%!这小家伙的数学水平简直可以参加奥林匹克比赛了,当然,前提是它要做题不再像个无头苍蝇。

说到做题,这Qwen在之前可真是跑偏了方向。面对一道题,它居然一路生成类似的文字,反复“复读”,却却迟迟交不上卷。最初,96条练习的回答里,有85条妥妥地以“长篇小说”的形式产生,直逼32768个token的长度上限。真是让人摸不着头脑,连Qwen自己都为此“卡主”了。 球友直播

不过,Astra显然不容易被难住!它像个侦探一样,跟踪这个失败的表现,最终发现了问题根源在一个叫“前馈网络”的地方。于是,它理智地对第15层和第19层的输出列进行了小小的调整,结果一出手,MATH-500的表现直接大幅提升,原本93.0%的长篇回答率下降到了33.1%。再给它几轮机会,得分如坐过山车一样,依次达到了12.3%、14.1%和48.1%。

更有趣的是,Astra可不止是做数学题的小天才,还有排版创意的潜力。研究者把一堆没输入、没输出的Transformer模块给它,让它来识别它们的“语言”。想象一下,在一个“语言沉默”的环境里,Astra也能通过分析权重的“形状”,认出不同游戏里的角色,比如乒乓球、吃豆人之类的。简直就是一个超级侦探,把压力都转化成了能力!

接下来,Astra在一个叫“坡道挑战”的实验中,依靠着微小的权重修复,居然让小车一次成功冲上了坡,完全没有卡住的毛病。你完全可以想象,它就像是给小车配上了“动力增压器”。 球友直播

而且,研究者们灵机一动,把难度提高,让Astra从零开始构建一个全新的网络。想象一下,它面对的是一份白纸,没有梯度、没有训练数据,却能生成一个玩得转的游戏程序。最后,Astra的得分可达517.4,打败了那种经过数亿步训练才得的分数,简直是个“神话”!

总之,这次MIT的研究不仅仅让Astra变得聪明能干,它向我们展示了,让一个已有的通用大模型,通过自我分析和权重重写,简直比让它每天啃书更有效。真是令人耳目一新,未来的AI发展,会不会跟这局面一样,充满了无限的可能呢?

最新文章

  • 马刺如火如荼,爵士却身陷连败泥沼!
    马刺如火如荼,爵士却身陷连败泥沼!

    北京时间3日下午3点,马刺(11胜2负)客场挑战爵士(1胜12负),后者正处在11连败之中,急需一场胜利止住颓势。 马刺目前状态火热。文班亚马场均贡献 28.8分、11.7个篮板和4.2次盖帽 ,是球队的绝对核心。在他身边,哈珀、卡斯尔、福克斯和瓦塞尔组成的后卫群提供了从第二到第五的多样得分选择,这几人合计每场为马刺贡献接近60分。素材判断,马刺并没有出现总决赛之旅后的疲软。 爵士这边,年轻核心彼...

  • 森林狼的控卫大翻身:从拉塞尔到鲍尔的喜剧人生
    森林狼的控卫大翻身:从拉塞尔到鲍尔的喜剧人生

    同样是披上森林狼球衣的前12场,拉塞尔带队 3胜9负 ,鲍尔带队 9胜3负 。一进一出,风向彻底掉了个头。 几年前,森林狼用首轮签加一位队史级球员换来拉塞尔,当时外界几乎一边倒地批评这笔操作,认为交易对手才是"高位套现"的一方。拉塞尔也成了近年森林狼最不受待见的球员之一:失误多、进攻时间刚走就干拔三分、防守糟糕,季后赛对阵灰熊时甚至被乔丹·麦克劳林挤掉了位置,他在球迷心中的口碑再没真正恢复。有意思...

  • 黄仁勋的戏剧性辞职:在职场上演“果断与尴尬”的双簧
    黄仁勋的戏剧性辞职:在职场上演“果断与尴尬”的双簧

    2026 年 11 月 13 日,据《华尔街日报》报道,黄仁勋在卸任英伟达 CEO 前,曾在内部高管会议上公开贬低 CFO 科莱特·克雷斯(Colette Kress),称她只是一名“负责财务报表的 CFO”,无法帮助他制定战略或作出重大决策。 当时,英伟达正考虑为无力购买其芯片的企业提供数十亿美元的融资担保。克雷斯对相关交易提出质疑,并试图约束黄仁勋女婿主导的部分业务。 11 月 12 日,黄仁...