Исследователи MIT попросили GPT-6 Astra найти причину сбоев в другой нейросети и изменить её параметры. После правки небольшая модель Qwen стала чаще доводить решение задачи до ответа: на тесте MATH-500 результат вырос с 7,9% до 48,1%. Но у истории есть важная деталь: Astra не просто посмотрела на набор чисел и мгновенно «поняла мозг» модели. Она писала код, анализировала параметры и проверяла гипотезы на примерах.
Результаты опубликовали 2 ноября исследователи MIT CSAIL. Они назвали подход weight-space programming - программированием в пространстве весов. Речь о попытке изменить поведение нейросети, редактируя её веса напрямую, без привычного цикла обучения с градиентным спуском.
Что именно сделала Astra
Веса - это числовые параметры, которые определяют, как сигналы проходят через нейросеть. Обычно их подбирают во время обучения на данных. В эксперименте с Qwen3.5-0.8B исследователи дали Astra доступ к весам через среду Python и разрешили запускать Qwen на примерах математических задач. Для лучшего результата у неё был бюджет до 50 запусков на пакетах примеров. Обучение и использование градиентов при этом запретили.
Astra обнаружила проблему зацикливания: маленькая модель повторяла рассуждения и нередко исчерпывала лимит ответа, не дойдя до решения. Затем она изменила 131 072 веса в двух слоях - около 0,016% параметров Qwen. На MATH-500 доля ответов, достигших лимита в 32 768 токенов, снизилась с 93% до 33,1%. На GSM8K результат вырос с 13,8% до 67,1%, а на тесте следования инструкциям IFEval - с 21% до 62,3%.
Это не обязательно означает, что Qwen приобрела новые математические навыки. Авторы объясняют результат иначе: исправление позволило модели завершать решения, с которыми она уже могла справиться. Для сравнения они попробовали улучшить Gemma 3 270M, которая редко зацикливалась. Заметно поднять её результат на MATH-500 у Astra не получилось.
Читала ли она веса напрямую?
В других частях исследования - да, но на гораздо меньших сетях. Например, Astra получила в текстовом запросе 17 253 веса игровой сети и определила, для какой игры её обучали, без инструментов и запуска самой сети. Исследователи также проверяли, сможет ли модель распознать фигуры, которые генерируют небольшие сети для изображений.
С Qwen условия были другими: Astra использовала Python и обратную связь от запусков модели. На это в критическом разборе обратил внимание создатель библиотеки spaCy Мэтью Хоннибал. По его мнению, объединение таких разных экспериментов под одним громким описанием может создать впечатление, будто результат с Qwen получен только просмотром сырых чисел.
Авторы исследования называют результаты ранними и опубликовали код и журналы экспериментов. Работа показывает интересный способ искать и исправлять отдельные сбои в моделях, но пока не доказывает, что ИИ может произвольно улучшать другие нейросети или самостоятельно переписывать собственные способности.
GPT-6 Astra доступна в GPTunneL. В исследовании использовали инструменты и доступ к весам модели: обычный чат сам по себе не воспроизводит этот эксперимент.