Нейросети научились создавать приложения, исправлять ошибки и самостоятельно работать с программным кодом. Но насколько хорошо они справляются с задачами настоящих пользователей? Новое исследование Co-Design Bench показало неожиданный разрыв между впечатляющими возможностями ИИ-программистов и качеством их конечной работы. Даже лучшая из десяти протестированных моделей — GPT-6 Astra — полностью выполнила только 26,4% задач, хотя в среднем справлялась почти с 70% отдельных требований.
Исследование провели специалисты Alibaba и нескольких университетов, включая Фуданьский университет и Китайский университет Гонконга. Научная работа Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models была опубликована 26 октября 2026 года, а 8 ноября результаты привлекли внимание технологических СМИ.
Главный вывод исследования: ИИ способен выполнить большую часть работы программиста, но довести её до полностью готового результата оказывается значительно сложнее.
Как проверяли ИИ-программистов
В отличие от многих традиционных тестов программирования, Co-Design Bench построен на реальных пользовательских запросах.
Исследователи проанализировали 26 314 сессий работы с инструментами программирования, выделили 37 463 уникальных запроса и сформировали из них 273 тестовых задания.
Причём отбирались преимущественно непростые случаи — например, когда пользователи многократно уточняли требования, переделывали запросы или откатывали неудачные изменения.
Задания разделили на две категории:
- Multimodal Editing (100 задач). Небольшие изменения интерфейсов и содержимого приложений. Пользователь мог передать скриншот, видео, аудиозапись или документ, а нейросеть должна была правильно интерпретировать информацию и изменить приложение.
- Repository Editing (173 задачи). Более сложные изменения существующих проектов: переработка интерфейсов, добавление функций, изменение логики взаимодействия и согласование работы нескольких компонентов.
Всего эксперты составили 2331 критерий успешного выполнения. Проверялось не просто наличие кода, а соответствие результата конкретным требованиям пользователя.
Например, задание могло требовать изменить стоимость товара на основании документа, пересчитать все зависимые суммы и сохранить правильное отображение данных на остальных страницах. Если нейросеть меняла цену, но забывала обновить итоговую сумму, задача считалась незавершённой.
Другой пример — доработка видеоредактора, в котором необходимо одновременно соблюдать ограничения на количество клипов, правильно пересчитывать временную шкалу и восстанавливать возможность добавления новых фрагментов после удаления старых.
Это существенно отличается от простого запроса «создай красивый сайт»: агенту приходится не только писать код, но и обеспечивать согласованную работу всей системы.
Результаты: GPT-6 Astra лидирует, но полностью решает лишь четверть задач
Исследователи протестировали десять моделей в одинаковой агентной среде Claude Code. Каждой модели предоставляли исходный проект, описание задания и возможность самостоятельно изучать файлы, изменять код и запускать приложение.
На выполнение одного задания выделялось до трёх часов и 120 шагов работы агента.
Результаты оказались значительно скромнее, чем можно было ожидать по показателям популярных бенчмарков.
Рейтинг ИИ-моделей по доле полностью выполненных задач
| Модель | Полностью выполнено |
|---|---|
| GPT-6 Astra | 26,4% |
| Claude Opus 5 | 18,3% |
| Qwen3.8-Max | 16,5% |
| Kimi K3 | 15,8% |
| Qwen3.8-27B | 15,0% |
| GPT-5.6 Sol | 14,3% |
| GLM-5.3 Flash | 10,6% |
| Claude Opus 4.8 | 10,3% |
| GLM-5.2 | 9,5% |
| Grok 4.6 | 6,6% |
Источник: Co-Design Bench, таблица 5. Результат показывает процент задач, в которых были выполнены абсолютно все критерии. Это не универсальный рейтинг качества программирования.
Даже GPT-6 Astra, занявшая первое место, оставила хотя бы одно невыполненное требование в 73,6% заданий. Claude Opus 5 смогла полностью завершить менее одной пятой задач, а Grok 4.6 — лишь 6,6%.
Однако это не означает, что оставшиеся задания были провалены целиком.
GPT-6 Astra в среднем выполнила 69,9% требований каждого задания, но довела до полного соответствия требованиям только 26,4% задач.
Представим, что пользователь попросил нейросеть создать страницу интернет-магазина с десятью обязательными функциями. Агент реализовал семь из них, а три оставил незаконченными.
С точки зрения объёма проделанной работы результат неплохой. Но для заказчика проект всё ещё не готов.
Именно эту разницу между частичным выполнением и окончательной готовностью исследователи считают одной из главных проблем современных ИИ-агентов.
Чем сложнее задача, тем больше вероятность ошибки
Особенно заметно качество работы снижалось при комплексном изменении существующих приложений.
GPT-6 Astra полностью справилась с 41% относительно локальных мультимодальных заданий, но только с 17,9% задач, требующих изменений на уровне проекта.
Исследователи также обнаружили закономерность: когда пользователь одновременно требует изменить структуру, оформление, интерактивность и содержание приложения, качество работы снижается у всех десяти моделей.
Средний показатель выполнения отдельных требований составил:
- 65,4% — когда задача включала один или два типа изменений;
- 59,1% — когда одновременно требовались три или четыре типа изменений.
Разница составляет 6,3 процентного пункта.
Проблема не обязательно заключается в неспособности нейросети написать конкретную функцию. Гораздо сложнее правильно связать несколько изменений, не нарушить существующую функциональность и проверить результат целиком.
Например, агент может успешно добавить переключатель тёмной темы, но забыть сохранять выбор пользователя после перезагрузки страницы. Или создать новое меню, которое правильно выглядит на компьютере, но не работает на смартфоне.
Для реальных проектов такие ошибки особенно неприятны: визуально задача может казаться завершённой, хотя часть функциональности остаётся неработоспособной.
Почему старые бенчмарки показывают почти идеальные результаты
Одно из наиболее интересных наблюдений связано с предыдущими тестами ИИ-программистов.
На наборе WebCompass-edit современные агенты способны демонстрировать почти безупречные показатели. Например, Claude Opus 4.8 при агентном выполнении достигла 99,4% среднего выполнения проверяемых функций.
При этом в Co-Design Bench даже лучшая модель выполнила в среднем только 69,9% требований.
Сравнивать эти цифры напрямую нельзя: наборы задач и методики оценивания отличаются. Однако контраст показывает, насколько сильно выбор бенчмарка влияет на впечатление о возможностях нейросетей.
Если проверять модель на относительно стандартизированных изменениях, она может показывать результаты, близкие к идеальным.
Но реальный пользователь обычно формулирует задачу иначе. Его запрос может содержать противоречивые требования, дополнительные файлы, неочевидные зависимости между компонентами и ограничения, которые легко пропустить.
Поэтому высокий балл в тесте программирования ещё не гарантирует, что нейросеть сможет самостоятельно завершить сложный коммерческий проект.
Окружение агента иногда влияет на результат почти так же сильно, как модель
Исследование выявило ещё один важный фактор — инструменты, через которые нейросеть работает с программным кодом.
Исследователи отдельно протестировали две модели в трёх агентных средах: Codex, OpenCode и Qwen Code.
Для Qwen3.8-27B результат на заданиях изменения репозиториев составил от 56,0% до 74,9% выполненных требований в зависимости от используемого окружения.
Разница — почти 19 процентных пунктов при одной и той же модели.
Это означает, что эффективность ИИ-программиста определяется не только интеллектом самой нейросети, но и организацией её работы: доступными инструментами, обработкой файлов, выполнением команд и механизмами проверки результата.
Более того, в отдельных условиях изменение окружения влияло даже на сравнительное положение двух моделей в рейтинге.
Таким образом, сравнивать только названия нейросетей недостаточно. Важна вся система, в которой они используются.
Можно ли доверять результатам исследования
Несмотря на интересные выводы, Co-Design Bench имеет ограничения.
Во-первых, задания намеренно отбирались с учётом сложности и предыдущих проблем пользователей. Поэтому утверждать, что ИИ не справляется с 74% абсолютно всех повседневных задач программирования, было бы неправильно. Исследование характеризует определённый набор сложных задач по изменению веб-приложений.
Во-вторых, оценивание выполнялось преимущественно автоматическими ИИ-проверяющими. Один агент исследовал исходный код и работу приложения в браузере, а второй перепроверял положительные оценки, пытаясь обнаружить фиктивную функциональность, жёстко заданные ответы и другие недостатки.
Два эксперта по фронтенд-разработке дополнительно проверили результаты для 200 сочетаний заданий и моделей. Тем не менее автоматическая оценка не исключает ошибок.
В-третьих, тест предусматривал выполнение фиксированного запроса без последующего диалога с пользователем. В реальной разработке заказчик может уточнить требования, указать на ошибки и попросить агента повторить попытку.
Наконец, в сравнении участвовали конкретные версии десяти моделей, а не все наиболее новые системы на рынке. Поэтому результаты нельзя автоматически переносить на другие поколения нейросетей.
Значит ли это, что ИИ пока не способен заменить программиста?
Результаты Co-Design Bench скорее показывают изменение характера работы программиста, чем бесполезность ИИ-агентов.
Нейросети уже способны самостоятельно выполнять значительную часть разработки. Но человеку по-прежнему приходится проверять конечный результат, обнаруживать пропущенные требования и контролировать взаимодействие различных компонентов.
Причём высокая доля выполненных требований не всегда означает сопоставимую экономию времени. Исправление оставшихся ошибок может оказаться как простой доработкой, так и сложной отладкой, затрагивающей значительную часть проекта.
Авторы исследования не измеряли напрямую время, которое программистам пришлось бы тратить на такие исправления. Поэтому из 73,6% незавершённых задач нельзя автоматически делать вывод, что именно в таком количестве случаев обязательно потребуется ручное программирование.
Однако необходимость дополнительной проверки вполне очевидна.
Главный вывод: современные ИИ-агенты уже умеют делать большую часть работы, но всё ещё испытывают трудности с гарантированным выполнением всех требований. Следующий этап развития инструментов программирования, вероятно, будет связан не только с улучшением генерации кода, но и с повышением надёжности проверки, поиска ошибок и завершения комплексных задач.
Именно способность превращать частично готовый результат в полностью работающий продукт станет одним из ключевых критериев качества будущих ИИ-программистов.