Google Cloud AI Research Harness²-ті ашық қолжетімділікке шығарды - бұл модельдің өзін өзгертпей ЖИ-агенттің жұмысын жақсартатын фреймворк. Ашық GLM-5 бір жетілдіру қадамынан кейін WorkBuddy-Bench тестінде 64,2-ден 75,7 ұпайға көтерілді: салмақтары сол күйінде +11,5. Код Apache 2.0 лицензиясымен шықты, мақала arXiv-те 9 қазанда жарияланды, ал жоба туралы 18 қазанда кең жазылды.
Қаптама деген не және неге маңызды
ЖИ-агенттің екі қабаты бар. Біріншісі - ойлайтын модель. Екіншісі - қаптама (harness): жүйелік промпт, ережелер мен шектеулер, жад, құралдарға арналған кеңестер, дағдылар, скрипттер және субагенттер. Claude Code және Codex - модельдердің айналасындағы қаптамалар; агенттердің құрылымы туралы біз «ЖИ-агент деген не» мақаласында жаздық.
Әдетте қаптаманы адам жазып, қолмен түзетеді. Harness² мұны автоматты түрде жасайды: қаптаманың сегіз бөлігінің бәрін өзгертуге болады, тек промпт мәтінін ғана емес.
Harness² өзгерте алатын қаптаманың сегіз бөлігі. Схема жоба репозиторийінен.
Propose–Probe–Compose циклі қалай жұмыс істейді
Әр жаңа тапсырма үшін жүйе үш қадам жасайды:
- Propose. Редактор қаптамаға түзетулер ұсынады: жалпы (мысалы, «нәтижені әрқашан тексер») және тапсырма түріне арналған.
- Probe. Әр түзетуді сол тапсырмада іске қосып, агенттің мінез-құлқы қалай өзгеретінін қарайды.
- Compose. Түпкілікті қаптама тек іске қосулар кезінде расталған түзетулерден құралады.
Дұрыс жауап қажет емес: жүйе нәтижені эталонмен тексермей, агенттің әртүрлі іске қосулардағы мінез-құлқын салыстырады. Сондықтан әдіс дайын жауабы жоқ жұмыс тапсырмаларына жарайды. Атаудағы дәреже екінші деңгейді білдіреді: әр тапсырманың сабақтары ортақ журналда сақталып, келесілеріне көмектеседі.
Цикл қадамы және тапсырмалар арасында жинақталатын тәжірибе. Схема жоба репозиторийінен.
Өлшемдер не көрсетті
Авторлар әдісті үш кәсіби бенчмаркта тексерді: WorkBuddy-Bench (кеңсе, веб және код), JobBench (жұмыс тапсырмалары) және LAB (заң жұмысы). Төменде WorkBuddy-Bench бойынша орташа, OpenCode орындаушысы, үш іске қосу бойынша орташа мәндер. «k=1» - бір жетілдіру қадамы.
| Әдіс | GLM-5 | Gemini 3.5 Flash |
|---|---|---|
| Бастапқы қаптама | 64,2 | 72,4 |
| ReasoningBank | 65,6 | 73,4 |
| Meta-Harness | 69,7 | 76,4 |
| Harness² (k=1) | 75,7 | 77,5 |
| Harness² (k=5, параллель) | - | 80,8 |
Кестеде не көрінеді:
- Әлсіз модельде өсім үлкенірек. GLM-5 11,5 ұпайға, Gemini 3.5 Flash 5,1 ұпайға өсті. Жетілдірілген қаптамамен GLM-5 (75,7) стандартты қаптамалы Gemini-ден (72,4) асып түсті, бірақ Gemini де жетілдіруден кейін 77,5 жинады, сондықтан GLM-5 оны қуып жете алған жоқ.
- Әдіс бәсекелестерден озады. Екі баламаның да, Meta-Harness (Stanford мен MIT жұмысындағы әдіс) және ReasoningBank, екі модельде де өсімі аз болды.
- Қадам көп - нәтиже жоғары. k=5 кезінде Gemini 3.5 Flash 80,8-ге жетті.
LAB-та GLM-5-тің ішінара орындалған тапсырмалар үлесі 59,6-дан 71,4%-ға өсті (+11,8 п.п.). JobBench-тегі өсім қарапайымырақ: 4,5 ұпайға дейін.
Мысал: екі араласу бағаны 43-тен 78-ге қалай көтерді
JobBench-тің бір тапсырмасын талдауда Gemini 3.5 Flash білімнің жетіспеуінен құлаған жоқ. Ол деректерді бастапқы файлдар арасында салыстырмады және дайын нәтижені тексеру үшін қайта ашпады. Тапсырма бағасы - 43,1.
Harness² екі араласу жасады (барлығы төрт түзету):
- жалпы ереже: жұмысты бастамас бұрын барлық кіріс деректерін тізіп, әр санды дереккөзге байлап, дайын файлдарды скриптпен тексеру;
- тапсырмаға арналған дағды: кесте, алаң, еңбек шығыны және бюджет файлдарын салыстыру ережелері, сондай-ақ сан форматтары бойынша кеңестер.
Содан кейін сол тапсырманың бағасы - 77,8. Бұл бір талданған жағдай, орташа нәтиже емес: бүкіл JobBench бойынша өсім әлдеқайда аз.
Мұнда не тегіс емес
- Түзетулерді агенттің өзі жазбайды. Әдепкіде редактор - бөлек күшті модель, OpenCode астындағы Claude Opus 4.8. Бөлек экспериментте редактор да, орындаушы да бір модель болды, және тексерілген бес модельдің бәрі, GLM-5-тен Claude Opus 5-ке дейін, әр бенчмаркте жақсарды. Opus 5-те өсім WorkBuddy-Bench-те +3,3, JobBench-те +5,5, LAB-та +3,0 болды, GLM-5-те LAB-та +13,7. Бұл эксперимент екі қадаммен (k=2) өтті, және тек ол туралы агент өзін өзі түзетеді деп айтуға болады.
- Жетілдіру құны ашылмаған. Авторлар екі конфигурация да «есептеу - сапа» Парето шекарасында жатыр деп жазады, іске қосулар мен түзетулер шығынын ескере отырып. Мақалада токендер мен доллар жоқ. Жетілдіруден кейін құралдарды шақыру саны WorkBuddy-Bench-те 11%-ға азайды, ал JobBench пен LAB-та 20% және 21%-ға өсті. Құралдар қателерінің үлесі үш бенчмаркте де төмендеді, мысалы JobBench-те 14,4%-дан 9,1%-ға.
- Кепілдік жоқ. Авторлар өздері атап өтеді: сынақ іске қосулардан келетін сигнал кездейсоқтыққа және модельдердің ортақ «соқыр дақтарына» байланысты және түзетудің басқа тапсырмада жұмыс істейтінін дәлелдемейді.
- Бұл зерттеу жобасы. Репозиторийде (GitHub-та шамамен 9 мың жұлдыз) бұл Google-дың ресми қолдау көрсетілетін өнімі емес деп көрсетілген. Іске қосу үшін Linux, Python 3.12, Google Cloud CLI және Vertex AI арқылы модельдер, ал WorkBuddy-Bench үшін Docker қажет.
Бұл сіз үшін нені білдіреді
Егер агенттер жасамасаңыз, қорытынды қарапайым: ЖИ жұмысының сапасын тек модель емес, оған берілген нұсқаулар мен тексерулер де анықтайды. JobBench мысалында шешуші жаңа білім емес, нәтижені қайта тексеру талабы болды. Бұл қарапайым чатта да жұмыс істейді: модельден жауап бергеннен кейін сандарды бастапқы деректермен салыстырып, тексере алмағанын атап шығуын сұраңыз.
Егер агенттер жасасаңыз, Harness² - қаптаманы автоматты жетілдіру сіздің тапсырмаларыңызда қанша беретінін тексеретін дайын тәсіл. Бірақ құнын ескеріңіз: әр қадам - қосымша іске қосулар мен редактор сессиялары.
Қайдан байқап көруге болады
Эксперименттерде қолданылған GLM-5, Gemini 3.5 Flash және Claude Opus 4.8 GPTunneL-де бір чатта қолжетімді. Harness²-тің өзі бізде іске қосылмайды: бұл өз серверіңізге арналған код. Бірақ әртүрлі модельдердің сіздің тапсырмаңызды нұсқаулыққа нәтижені тексеруді қосқанға дейін және кейін қалай орындайтынын тікелей чатта салыстыруға болады. Агенттер туралы кеңірек Claude Code мақаласында жаздық.
Дереккөздер
- google-research/harness2, GitHub - код, Apache 2.0 лицензиясы, компоненттер сипаттамасы, іске қосу талаптары, «Google-дың ресми өнімі емес» ескертпесі.
- Harness²: Recursive Agent Harnessing for an Open World, arXiv, 2026 жылғы 9 қазан - мақала, нәтижелер кестелері, JobBench жағдайы, шектеулер.
- harness2.github.io, жоба беті - Gemini 3.5 Flash үшін WorkBuddy-Bench нәтижелері және бәсекелес әдістермен салыстыру.