Нейрожелілер қосымша жасап, қателерді түзетіп, кодпен өздігінен жұмыс істей алады. Ал олар нақты пайдаланушылардың тапсырмаларын қаншалықты жақсы орындайды? Co-Design Bench зерттеуі ИИ бағдарламашылардың мүмкіндіктері мен дайын жұмысының сапасы арасында айтарлықтай айырмашылық барын көрсетті. Тексерілген он модельдің ең үздігі GPT-6 Astra тапсырмалардың тек 26,4%-ын толық орындады, дегенмен жеке талаптардың орта есеппен 70%-ға жуығын қанағаттандырды.
Зерттеуді Alibaba мамандары мен бірнеше университеттің, соның ішінде Фудань университеті мен Гонконг қытай университетінің зерттеушілері жүргізді. Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models ғылыми жұмысы 2026 жылғы 26 қазанда жарияланды, ал 8 қарашада оның нәтижелеріне технологиялық басылымдар назар аударды.
Негізгі қорытынды: ИИ бағдарламашы жұмысының көп бөлігін атқара алады, бірақ оны толық дайын нәтижеге жеткізу әлдеқайда қиын.
ИИ бағдарламашыларды қалай тексерді
Көптеген дәстүрлі бағдарламалау тесттерінен өзгеше, Co-Design Bench нақты пайдаланушы сұраныстарына негізделген. Зерттеушілер бағдарламалау құралдарымен жұмыс істеген 26 314 сессияны талдап, 37 463 бірегей сұранысты анықтады және солардан 273 тест тапсырмасын құрды.
Негізінен күрделі жағдайлар таңдалды: мысалы, пайдаланушылар талаптарын бірнеше рет нақтылаған, сұраныстарын өзгерткен немесе сәтсіз өзгерістерді кері қайтарған жағдайлар.
Тапсырмалар екі топқа бөлінді:
- Multimodal Editing (100 тапсырма): қосымша интерфейсі мен мазмұнын жергілікті өзгерту. Пайдаланушы скриншот, видео, аудио немесе құжат бере алады, ал модель ақпаратты түсініп, қосымшаны өзгертуі керек.
- Repository Editing (173 тапсырма): қолданыстағы жобаларды күрделірек өзгерту: интерфейсті қайта жасау, функция қосу және бірнеше компоненттің жұмысын үйлестіру.
Сарапшылар сәтті орындауға арналған 2331 критерий жасады. Тек кодтың бар-жоғы емес, нәтиженің пайдаланушы талаптарына сәйкестігі тексерілді.
Мысалы, тапсырма құжат негізінде тауар бағасын өзгертіп, оған тәуелді сомаларды қайта есептеуді және басқа беттердегі деректердің дұрыс көрсетілуін талап етуі мүмкін. Модель бағаны өзгертіп, жалпы соманы жаңартуды ұмытса, тапсырма аяқталмаған деп саналады.
Тағы бір мысал - видеоредакторды жетілдіру: клиптер санының шектеуін сақтау, уақыт шкаласын дұрыс қайта есептеу және ескі клиптер жойылғаннан кейін жаңаларын қосуға мүмкіндік беру керек. Бұл жай ғана «әдемі сайт жаса» деген сұраныстан өзгеше: агент бүкіл жүйенің үйлесімді жұмысын қамтамасыз етуі тиіс.
Нәтиже: GPT-6 Astra алда, бірақ тапсырмалардың төрттен бірін ғана аяқтады
Зерттеушілер он модельді бірдей Claude Code агенттік ортасында тексерді. Әр модель бастапқы жобаны, тапсырма сипаттамасын алып, файлдарды зерттей, кодты өзгерте және қосымшаны іске қоса алды. Бір тапсырмаға үш сағатқа және агент жұмысының 120 қадамына дейін берілді.
Тапсырмаларды толық орындау үлесі бойынша рейтинг
| Модель | Толық орындалды |
|---|---|
| GPT-6 Astra | 26,4% |
| Claude Opus 5 | 18,3% |
| Qwen3.8-Max | 16,5% |
| Kimi K3 | 15,8% |
| Qwen3.8-27B | 15,0% |
| GPT-5.6 Sol | 14,3% |
| GLM-5.3 Flash | 10,6% |
| Claude Opus 4.8 | 10,3% |
| GLM-5.2 | 9,5% |
| Grok 4.6 | 6,6% |
Дереккөз: Co-Design Bench, 5-кесте. Көрсеткіш барлық критерийі орындалған тапсырмалардың үлесін білдіреді. Бұл бағдарламалау сапасының әмбебап рейтингі емес.
Бірінші орын алған GPT-6 Astra тапсырмалардың 73,6%-ында кемінде бір талапты орындамай қалдырды. Claude Opus 5 тапсырмалардың бестен біріне жетпейтін бөлігін, ал Grok 4.6 тек 6,6%-ын толық аяқтады. Бірақ қалған тапсырмалар түгелдей сәтсіз болды деген сөз емес.
GPT-6 Astra әр тапсырмадағы талаптардың орта есеппен 69,9%-ын орындады, бірақ тапсырмалардың тек 26,4%-ында барлық талапты қанағаттандырды.
Айталық, пайдаланушы нейрожеліден он міндетті функциясы бар интернет-дүкен бетін жасауды сұрады. Агент жетеуін іске асырып, үшеуін аяқтамады. Көп жұмыс атқарылғанымен, тапсырыс беруші үшін жоба әлі дайын емес. Зерттеушілер ішінара орындау мен дайын нәтиже арасындағы осы айырмашылықты қазіргі ИИ агенттердің басты мәселелерінің бірі деп санайды.
Тапсырма күрделенген сайын қате ықтималдығы өседі
Қолданыстағы қосымшаларды кешенді өзгерткенде жұмыс сапасы айқын төмендеді. GPT-6 Astra салыстырмалы түрде жергілікті мультимодаль тапсырмалардың 41%-ын, ал бүкіл жоба деңгейінде өзгеріс талап етілетін тапсырмалардың тек 17,9%-ын толық орындады.
Зерттеушілер тағы бір заңдылықты анықтады: құрылымды, безендіруді, интерактивтілікті және мазмұнды бір мезгілде өзгерту талап етілгенде, он модельдің бәрінде нәтиже төмендеді. Жеке талаптарды орындаудың орташа көрсеткіші:
- 65,4% - тапсырма бір немесе екі өзгеріс түрін қамтығанда;
- 59,1% - үш немесе төрт өзгеріс түрі қатар талап етілгенде.
Айырмашылық 6,3 пайыздық пунктті құрайды. Мәселе белгілі бір функцияны жазуда ғана емес: бірнеше өзгерісті дұрыс байланыстыру, бұрынғы функцияларды бұзбау және бүкіл нәтижені тексеру қиынырақ.
Мысалы, агент қараңғы тақырып қосқышын жасап, бетті қайта жүктегеннен кейін таңдауды сақтауды ұмытуы мүмкін. Немесе компьютерде дұрыс көрінетін, бірақ смартфонда жұмыс істемейтін мәзір жасайды. Тапсырма сырттай дайын көрінгенімен, функциялардың бір бөлігі істемей қалуы мүмкін.
Неге бұрынғы бенчмарктер мінсізге жуық нәтиже көрсетеді
WebCompass-edit жинағында қазіргі агенттер өте жоғары көрсеткішке жете алады. Мысалы, Claude Opus 4.8 агенттік орындау кезінде тексерілген функциялардың орта есеппен 99,4%-ын орындады. Ал Co-Design Bench-те ең үздік модель талаптардың орта есеппен 69,9%-ын ғана орындады.
Бұл сандарды тікелей салыстыруға болмайды: тапсырмалар мен бағалау әдістері өзгеше. Дегенмен айырмашылық бенчмарк таңдауы нейрожелі мүмкіндіктері туралы түсінікке қаншалықты әсер ететінін көрсетеді. Стандартталған өзгерістердегі жоғары нәтиже қосымша файлдар, тәуелділіктер және байқалмай қалуы мүмкін шектеулері бар күрделі коммерциялық жобаны өздігінен аяқтауға кепіл емес.
Агент ортасы да нәтижеге әсер етеді
Зерттеушілер екі модельді Codex, OpenCode және Qwen Code атты үш агенттік ортада бөлек тексерді. Qwen3.8-27B репозиторийді өзгерту тапсырмаларында ортаға қарай талаптардың 56,0%-ынан 74,9%-ына дейін орындады. Бір модель үшін айырмашылық шамамен 19 пайыздық пункт болды.
Демек, ИИ бағдарламашының тиімділігі модельдің өзіне ғана емес, қолжетімді құралдарға, файлдарды өңдеуге, командаларды орындауға және нәтижені тексеруге де байланысты. Кейбір жағдайда ортаны өзгерту екі модельдің рейтингтегі салыстырмалы орнын да өзгертті. Сондықтан модель атауларын ғана емес, бүкіл жүйені салыстыру қажет.
Зерттеу нәтижелеріне сенуге бола ма
Co-Design Bench-тің шектеулері бар. Біріншіден, тапсырмалар күрделілігі мен пайдаланушылар бұрын кездескен мәселелер ескеріліп таңдалды. Сондықтан ИИ күнделікті бағдарламалау тапсырмаларының бәрінің 74%-ын орындай алмайды деу қате. Зерттеу веб-қосымшаларды өзгертуге арналған күрделі тапсырмалардың белгілі бір жиынын сипаттайды.
Екіншіден, бағалауды негізінен автоматты ИИ тексерушілер жүргізді. Бір агент код пен браузердегі жұмысты зерттеді, екіншісі оң бағаларды қайта тексеріп, жалған функцияларды, кодқа бекітілген жауаптарды және басқа кемшіліктерді іздеді. Екі фронтенд сарапшысы тапсырма мен модельдің 200 жұбының нәтижесін қосымша тексерді. Соған қарамастан автоматты бағалауда қате болуы мүмкін.
Үшіншіден, агенттер бастапқы сұранысты пайдаланушымен кейін диалог құрмай орындады. Ал нақты жұмыста тапсырыс беруші талаптарды нақтылап, қателерді көрсетіп, қайта әрекет етуді сұрай алады. Салыстыруға барлық жаңа жүйелер емес, он модельдің нақты нұсқалары қатысты, сондықтан нәтижені басқа буындарға автоматты түрде таратуға болмайды.
Бұл ИИ бағдарламашыны әлі алмастыра алмайды дегенді білдіре ме?
Co-Design Bench нәтижелері ИИ агенттердің пайдасыздығын емес, бағдарламашы жұмысының сипаты өзгеретінін көрсетеді. Нейрожелілер әзірлеудің елеулі бөлігін орындай алады, бірақ адамға түпкі нәтижені тексеру, қалып қойған талаптарды табу және компоненттердің өзара әрекетін бақылау қажет.
Орындалған талаптардың жоғары үлесі уақыт дәл сондай мөлшерде үнемделді дегенді білдірмейді. Қалған қателерді түзету оңай болуы да, жобаның көп бөлігін қамтитын күрделі жөндеу болуы да мүмкін. Авторлар мұндай түзетулерге бағдарламашылар қанша уақыт жұмсайтынын тікелей өлшеген жоқ. Сондықтан аяқталмаған тапсырмалардың 73,6%-ы дәл сонша жағдайда міндетті түрде қолмен бағдарламалау қажет дегенді білдірмейді.
Дегенмен қосымша тексеру қажет. Негізгі қорытынды: ИИ агенттер жұмыстың көп бөлігін орындай алады, бірақ барлық талаптың сенімді орындалуы әлі де қиын. Алдағы құралдарда код генерациясымен бірге тексерудің, қателерді іздеудің және күрделі тапсырмаларды аяқтаудың сенімділігі маңызды болады. Ішінара дайын нәтижені толық жұмыс істейтін өнімге айналдыру қабілеті болашақ ИИ бағдарламашылар сапасының басты өлшемдерінің біріне айналуы мүмкін.