MIT зерттеушілері GPT-6 Astra моделіне басқа нейрожелідегі ақаудың себебін тауып, оның параметрлерін өзгертуді тапсырды. Түзетуден кейін шағын Qwen моделі есептердің жауабына жиірек жетті: MATH-500 сынағындағы нәтижесі 7,9%-дан 48,1%-ға өсті. Бірақ маңызды бір шарт бар: Astra сандар тізіміне қарап, модельді бірден түсініп қойған жоқ. Ол код жазып, параметрлерді талдады және болжамдарын мысалдармен тексерді.
MIT CSAIL зерттеушілері нәтижелерін 2 қарашада жариялады. Олар тәсілді weight-space programming - салмақтар кеңістігінде бағдарламалау деп атады. Бұл нейрожелінің әрекетін салмақтарын тікелей өзгерту арқылы, градиенттік түсіруге негізделген әдеттегі оқыту циклінсіз түзетуге арналған тәсіл.
Astra нақты не істеді?
Салмақтар - нейрожелі арқылы сигналдардың қалай өтетінін анықтайтын сандық параметрлер. Әдетте олар деректермен оқыту кезінде реттеледі. Qwen3.5-0.8B тәжірибесінде зерттеушілер Astra-ға Python ортасы арқылы салмақтарға қол жеткізіп, Qwen-ді математикалық есептердің мысалдарымен іске қосуға мүмкіндік берді. Ең жақсы нәтижеге жеткен нұсқада мысалдар топтамалары үшін 50 іске қосуға дейін рұқсат берілді. Оқытуға және градиенттерді пайдалануға тыйым салынды.
Astra модельдің қайталану мәселесін анықтады: шағын модель өз пайымдауын қайталап, шешімге жетпей жауап лимитін жиі тауысып отырған. Содан кейін ол екі қабаттағы 131 072 салмақты өзгертті - бұл Qwen параметрлерінің шамамен 0,016%-ы. MATH-500 сынағында 32 768 токен лимитіне жеткен жауаптардың үлесі 93%-дан 33,1%-ға түсті. GSM8K нәтижесі 13,8%-дан 67,1%-ға, ал нұсқауларды орындауды өлшейтін IFEval көрсеткіші 21%-дан 62,3%-ға өсті.
Бұл Qwen жаңа математикалық дағдыларды меңгерді дегенді міндетті түрде білдірмейді. Авторлардың түсіндіруінше, түзету модельге бұрын да шығара алатын есептерді аяқтауға мүмкіндік берді. Салыстыру үшін зерттеушілер сирек қайталанатын Gemma 3 270M моделін де жақсартуға тырысты. Astra оның MATH-500 нәтижесін елеулі арттыра алмады.
Ол салмақтарды тікелей оқыды ма?
Зерттеудің басқа бөліктерінде оқыды, бірақ әлдеқайда шағын желілерде. Мысалы, Astra ойын ойнайтын желінің 17 253 салмағын мәтіндік сұрауда алып, құралдарсыз және желіні іске қоспай, оның қай ойынға үйретілгенін анықтады. Зерттеушілер сондай-ақ оның сурет жасайтын шағын желілердің қандай фигура шығаратынын таба алатынын тексерді.
Qwen тәжірибесінің шарттары өзгеше болды: Astra Python-ды және модельді іске қосқаннан алынған кері байланысты пайдаланды. spaCy кітапханасының авторы Мэтью Хоннибал осы айырмашылыққа сыни талдауында назар аударды. Оның пікірінше, әртүрлі тәжірибелерді бір ортақ тұжырыммен беру Qwen нәтижесіне тек бастапқы сандарға қарау арқылы жеткендей әсер қалдыруы мүмкін.
Зерттеу авторлары нәтижелердің бастапқы кезеңде екенін айтады және код пен тәжірибе журналдарын жариялады. Жұмыс модельдердің нақты ақауларын тауып, түзетудің қызықты жолын көрсетеді. Бұл тәжірибе барлық модельдер үшін бірдей нәтиже беретін дайын әдіс емес. Ол әзірге ИИ кез келген нейрожеліні жақсарта алатынын немесе өз қабілеттерін өздігінен қайта жаза алатынын дәлелдемейді.
GPT-6 Astra моделін GPTunneL-де қарап көруге болады. Зерттеуде құралдар мен модель салмақтарына қолжетімділік қолданылды, сондықтан кәдімгі чат бұл тәжірибені өздігінен қайталамайды.