Opus 5.5 против DeepSeek и GPT-6.1 Sol в покере: кто сильнее и кто дешевле?

5 октября разработчик Chrystian Schutz опубликовал бенчмарк HoldemBench: 17 игроков, среди них Claude Opus 5.5, GPT-6.1 Sol и DeepSeek V4.1 Flash, сыграли 7729 раздач в покер один на один. По силе топовые модели сыграли с дешёвыми вничью: больше всех набрала DeepSeek (+5,4 большого блайнда за раздачу), у Sol +3,4, у Opus +2,7, но разница в пределах погрешности. По цене разрыв огромный: 1000 раздач у Opus стоят $22, у DeepSeek $6,45, у GPT-6 Luna $0,71. А скрипт на 30 строк Python сыграл с Opus вничью.

Как читать эти цифры, если вы не играете в покер. Большой блайнд - обязательная ставка, которую игрок вносит до начала раздачи; в покере ею меряют деньги, как в «рублях». В этом тесте она равна 100 фишкам, а у каждого игрока на старте 10 000. Показатель «+5,4 блайнда за раздачу» значит, что DeepSeek в среднем выигрывала по 540 фишек с каждой раздачи, а «-4,0» - что игрок в среднем проигрывал по 400. Ноль - ничья. Чем больше число, тем лучше игрок играет против остальных.

Как устроен тест

Формат - heads-up no-limit холдем: блайнды 50/100, у каждого 100 больших блайндов, после каждой раздачи стек сбрасывается. Все ИИ-игроки получают одинаковый английский текст: свои карты, карты на столе, банк, стеки, историю ставок, статистику соперника и список допустимых действий. Действий девять: фолд, чек, колл, пять размеров ставки от трети банка до полутора банков и олл-ин. В ответ игрок выбирает действие и называет свой шанс на победу.

Рейтинг - средний выигрыш в больших блайндах за раздачу. Его считают по всем матчам сразу, поэтому игроков, которые ни разу не встречались, можно сравнить через общих соперников. У каждого результата есть 95%-й доверительный интервал. На API потратили $16,44.

Игроков четыре типа: две топовые модели, пять дешёвых reasoning-моделей, четыре «модели-решателя» (они возвращают выбор с вероятностью, а не текст), одна локальная модель и скрипты-боты.

Как из результата убрали удачу

В покере огромная дисперсия: хороший игрок может проигрывать тысячу раздач подряд, потому что сопернику шли карты лучше. Большинство покерных сравнений ИИ в сети - несколько сотен раздач с простым подсчётом фишек, и они измеряют в основном удачу. Чтобы рейтинг показывал игру, а не везение, автор сделал три вещи:

1. Каждую сдачу играют дважды со сменой мест. Если в первой раздаче у одного игрока тузы, а у другого короли, во второй они меняются картами. Остаётся только разница в том, как каждый распорядился одними и теми же картами.
2. Одни и те же сдачи для всех. Все пары игроков в лиге играют по общему списку раздач, поэтому карты у всех одинаковые.
3. Олл-ин считается по шансам, а не по исходу. Если оба игрока пошли олл-ин до последней карты, раздачу засчитывают по вероятности выигрыша каждого в этот момент, а не по тому, какие карты пришли потом. Одно это сократило разброс результатов в 2,7 раза.

Стек при этом сбрасывается после каждой раздачи: никто не вылетает из игры, и все раздачи весят одинаково.

Даже так одна двойная сдача между двумя игроками колеблется примерно на 9 блайндов. Чтобы определить результат пары с точностью до одного блайнда, нужно около 320 сдач. Поэтому дешёвые модели играли со многими соперниками, а дорогие Sol и Opus - только с теми, чей рейтинг уже был надёжно известен: скриптом, Jev, pplx, Luna, Muse Spark Contributor и друг с другом.

Таблица результатов

Жирным выделены модели, которые есть в GPTunneL. Первые пять мест заняли только LLM: три дешёвые и две топовые. У DeepSeek и Opus интервалы пересекаются, поэтому первое место - оценка, а не доказанный отрыв. Зато разница в цене раздачи не оценка: $6,45 против $21,97, в 3,4 раза.

Топовые против дешёвых: ничья

Общий рейтинг считается против всего поля. Автор отдельно свёл Sol и Opus лицом к лицу с остальными:

Вывод автора: топовые модели лучше всех оценивают свои шансы (корреляция с реальными 0,87-0,88) и ни разу не дали недопустимого ответа. Решателей они обыгрывают, но с небольшим перевесом. А против дешёвых reasoning-моделей сыграли вничью, хотя те стоят в 10-30 раз меньше. Счёт на 20 сдач автор называет намёком, а не приговором, но картина одна и та же: Luna уступает Sol и Opus доли блайнда, Muse Spark Contributor с Sol вничью, а у Opus выигрывает.

Играют топовые модели по-разному. Sol осторожнее: вступает в 58% банков и сбрасывает на ставку в 34% случаев. Opus вступает в 67% и сбрасывает всего в 18%, а на простых ходах вообще не тратит токены на рассуждение.

Кто играет как кто

Почему дешёвые модели оказались рядом с топовыми, а то и выше, автор показывает отдельным опытом. Он взял 40 позиций из реальных раздач, «заморозил» их и спросил у каждого игрока, что тот сделает. Если два игрока выбирают одинаковый тип действия, они «согласны».

Sol, Opus, Luna, DeepSeek и Muse Spark Contributor выбирают одно и то же в 65-80% позиций, хотя их сделали четыре разные компании. Вывод автора: хорошая игра, похоже, сходится к одному стилю. Дешёвые reasoning-модели играют почти по учебнику: входят во многие банки, чаще повышают, чем уравнивают, и ставят от половины до целого банка.

Остальные расходятся по «семьям». Решатели Jev и pplx играют как calling station - бот, который всегда уравнивает. Solar и локальная Bielik ближе всего к случайному боту и к maniac, который повышает в каждой раздаче.

Разница в другом - в стабильности. На один и тот же вопрос, заданный дважды, GLM даёт тот же ответ в 55% случаев, MiMo в 65%, DeepSeek в 82%. Opus ответил одинаково 40 раз из 40 и не поменял ответ в 38 случаях, когда масти карт переименовали, хотя по сути позиция не меняется. У Sol 39 и 40. Решатели детерминированы и всегда отвечают одинаково, но переименование мастей и у них меняет примерно каждый десятый ответ.

Скрипт на 30 строк

Бот equity_tag на каждом ходу оценивает свои шансы на победу методом Монте-Карло и ставит, когда впереди. У него нет ни рассуждений, ни памяти о прошлых раздачах. В общем рейтинге его +2,4 не отличается от MiMo.

Sol скрипт обыграл уверенно: +2,4 блайнда, и весь интервал выше нуля. Opus - нет: +0,5 при интервале от -1,4 до +2,6, то есть ничья. На этом матче автор показывает, как обманывает малая выборка. После 20 сдач Opus вёл на 3,5 блайнда, и интервал не включал ноль. Автор признаётся, что чуть не написал об этом как о результате. Следующие 50 сдач ушли в другую сторону, и в сумме вышла ничья.

Решателей скрипт обыграл: Jev 1.13 на +2,7 за 100 сдач, Solar Decide на +5,3. По словам автора, самый дешёвый способ прилично играть в этом тесте - по-прежнему бесплатный: скрипт сыграл на уровне Opus, MiMo и GLM.

Где ошибаются

Решатели - новый тип моделей: вместо текста они получают позицию и список вариантов и возвращают выбор с вероятностью для каждого. Они дешёвые (5-10 центов за 1000 решений) и быстрые: Jev отвечает за 0,3 секунды. Но в покер играют странно:

• Solar Decide в одной из раздач получил пару тузов - лучшую стартовую руку - против небольшого рейза случайного бота, оценил шансы в 48% и сбросил карты. При открытых картах у тузов было 84%. Это не случайный сбой: из 13 раздач с сильной рукой (AA, KK, QQ или AK) он сбросил её в четырёх, а случайный бот в той же лиге - в трёх из 18. Ещё Solar идёт олл-ин в 56% раздач.
• Jev 1.13, лучший из решателей, повышает до флопа всего в 3% раздач, почти всё уравнивает, а после флопа ставит в среднем шесть банков. Против тех, кто часто сбрасывает, это работает, а против скрипта, который просто уравнивает с хорошими шансами, такие ставки стоят целого стека.
• pplx-decider сбросил карты в 7 из 35 позиций на последней улице, где его шанс на победу был не ниже 90%.

Все решатели недооценивают свою руку: pplx в среднем на 19 пунктов, Jev и Solar на 17, Mercury на 15. Языковые модели ошибаются на 4-9 пунктов, скрипты - меньше чем на один.

Локальная Bielik 11B - открытая польская модель проекта SpeakLeash, сделанная для польского языка, а не для рассуждений, и без режима размышлений. Автор запускал её у себя (Q8, llama.cpp, одна RTX 3090 Ti). Она пришла последней, хуже случайного бота: вкладывала деньги в 96% банков, повышала в 77% случаев, где могла, шла олл-ин в 31% раздач и ни разу не сбросила карты на ставку. Это единственный игрок, который переоценивает свои шансы, в среднем на 20 пунктов. О Bielik как о польском ассистенте это говорит мало, замечает автор. Но маленькая модель без рассуждений не превращает покерный промпт в покер.

У DeepSeek есть слабое место - время. Она думает в среднем около 100 секунд на решение и до пяти минут на сложных позициях, против 6-7 секунд у Opus и Sol. Одна раздача против неё длится 3-8 минут, и её последние раздачи задержали всю лигу дешёвых моделей. На 3,6% решений модель выходила за лимит 32 768 токенов вывода, и такие ответы засчитывались как ошибки. Первое место она взяла несмотря на это.

Что пошло не так у самого автора

Автор пишет, что большая часть работы была не про покер. Некоторые его ошибки полезно знать всем, кто сравнивает модели сам:

• Рейтинг Эло вывел в лидеры маньяка. Первая таблица считала Эло по отдельным сдачам. Бот, который повышает каждую раздачу, выигрывает много маленьких банков и проигрывает несколько огромных, поэтому набрал больше всех «побед», теряя фишки. Теперь рейтинг считается по фишкам за раздачу.
• Настройки рассуждений не переносятся между провайдерами. GLM с настройками по умолчанию думала до лимита 8192 токенов и не отвечала ничего, на среднем усилии не рассуждала вовсе, заработала только на высоком. DeepSeek не укладывалась в лимит в трети ответов, пока его не подняли до 32 768.
• Лимиты запросов выглядят как плохая игра. pplx за один прогон вернул больше тысячи ошибок «слишком много запросов», а запасной сценарий молча превращал их в чек или фолд. Получался очень пассивный игрок. Теперь такие раздачи переигрываются.
• Ошибка в знаке. На несколько минут автор прочитал проигрыш скрипта Opus как победу. Графики считали верно, ошибся заголовок.

Ограничения

Автор сам перечисляет, что ограничивает выводы:

• только heads-up со стеком 100 блайндов, который сбрасывается каждую раздачу;
• пять фиксированных размеров ставок;
• один английский промпт для всех, другой мог бы переставить места;
• топовые и локальная модели сыграли меньше сдач, поэтому интервалы у них шире, а матчи по 20 сдач он называет намёками, а не приговором;
• сравнения с настоящим солвером нет.

Код и все решения с оценками, задержками и стоимостью выложены в открытый доступ: репозиторий HoldemBench под лицензией MIT и датасет на Hugging Face.

Что это значит для вас

Покер - не ваша рабочая задача, но вывод шире: дороже не значит сильнее. Opus 5.5 в этом тесте не лучше дешёвых моделей, а раздача у неё стоит в 31 раз больше, чем у Luna. Цена токена тоже не равна цене задачи: итог зависит от того, сколько модель «думает» над ответом. Поэтому прогоните свою задачу на двух-трёх моделях и сравните цену принятого результата, а не прайс.

Цены токена в GPTunneL для четырёх моделей из теста:

У Luna и Sol действует скидка 50%, актуальные цены смотрите на странице цен.

Где попробовать

Все четыре модели есть в GPTunneL, один баланс на любые вызовы: DeepSeek V4.1 Flash, GPT-6 Luna, GPT-6.1 Sol и Claude Opus 5.5. Как DeepSeek V4.1 Flash показала себя в других тестах, разобрано в статье DeepSeek V4.1 Flash 1017, а Luna и Haiku 5.5 сравнивали в отдельном разборе.

Источники

• HoldemBench: I Made 17 AIs Play 7,700 Hands of Poker, Chrystian Schutz, 05.10.2026 - формат, поведение моделей, ограничения.
• Репозиторий HoldemBench, MIT - таблица результатов, точное число раздач (7729, в заголовке статьи автор округлил до 7700) и $16,44 расходов на API.
• Датасет HoldemBench - решения, оценки, задержки и стоимость каждой раздачи.