5 қазанда әзірлеуші Chrystian Schutz HoldemBench бенчмаркін жариялады: 17 ойыншы, олардың ішінде Claude Opus 5.5, GPT-6.1 Sol және DeepSeek V4.1 Flash, бетпе-бет покерде 7729 үлестіру ойнады. Күш жағынан топ модельдер арзан модельдермен тең ойнады: ең көп ұпайды DeepSeek жинады (бір үлестіруге +5,4 үлкен блайнд), Sol-да +3,4, Opus-та +2,7, бірақ айырма қателік шегінде. Баға жағынан алшақтық үлкен: 1000 үлестіру Opus-та $22, DeepSeek-те $6,45, GPT-6 Luna-да $0,71 тұрады. Ал Python-дағы 30 жолдық скрипт Opus-пен тең ойнады.
Покер ойнамасаңыз, бұл сандарды қалай оқу керек. Үлкен блайнд - ойыншы үлестіру басталғанға дейін салатын міндетті бәс; покерде ақша соның өлшемімен есептеледі. Бұл тестте ол 100 фишкаға тең, ал әр ойыншыда бастапқыда 10 000 фишка бар. «Бір үлестіруге +5,4 блайнд» дегені - DeepSeek әр үлестіруден орта есеппен 540 фишка ұтқан, ал «-4,0» - ойыншы әр үлестіруде орта есеппен 400 фишка ұтылған. Нөл - тең. Сан неғұрлым үлкен болса, ойыншы қалғандарға қарсы соғұрлым жақсы ойнайды.
Тест қалай құрылған
Формат - heads-up no-limit холдем: блайндтар 50/100, әрқайсысында 100 үлкен блайнд, әр үлестіруден кейін стек қайта орнатылады. Барлық ЖИ-ойыншылар бірдей ағылшынша мәтін алады: өз карталары, үстелдегі карталар, банк, стектер, бәстер тарихы, қарсыластың статистикасы және рұқсат етілген әрекеттер тізімі. Әрекет тоғыз: фолд, чек, колл, банктің үштен бірінен бір жарым банкке дейінгі бес бәс көлемі және олл-ин. Жауап ретінде ойыншы әрекетті таңдап, өзінің жеңу мүмкіндігін атайды.
Рейтинг - бір үлестірудегі үлкен блайндпен есептелген орташа ұтыс. Ол барлық матчтар бойынша бірден есептеледі, сондықтан бір-бірімен ешқашан кездеспеген ойыншыларды ортақ қарсыластар арқылы салыстыруға болады. Әр нәтиженің 95%-дық сенімділік аралығы бар. API-ға $16,44 жұмсалды.
Ойыншылар төрт түрлі: екі топ модель, бес арзан reasoning-модель, төрт «шешім модельдері» (олар мәтін емес, ықтималдығы бар таңдау қайтарады), бір локалды модель және скрипт-боттар.
Нәтижеден сәттілік қалай алынып тасталды
Покерде дисперсия өте үлкен: жақсы ойыншы қарсыласына жақсы карта түскендіктен мың үлестіру қатарынан ұтылуы мүмкін. Желідегі ЖИ покер салыстыруларының көбі - фишкаларды жай санайтын бірнеше жүз үлестіру, олар негізінен сәттілікті өлшейді. Рейтинг сәттілікті емес, ойынды көрсетуі үшін автор үш нәрсе жасады:
- Әр үлестіру орын ауыстырып екі рет ойналады. Бірінші үлестіруде бір ойыншыда тұздар, екіншісінде корольдер болса, екіншісінде олар карталарымен алмасады. Тек әрқайсысы бірдей карталарды қалай пайдаланғанындағы айырма қалады.
- Барлығына бірдей үлестірулер. Лигадағы барлық жұптар ортақ үлестірулер тізімімен ойнайды, сондықтан бәрінің картасы бірдей.
- Олл-ин нәтижесі бойынша емес, мүмкіндік бойынша есептеледі. Екі ойыншы да соңғы картаға дейін олл-ин жасаса, үлестіру кейін қандай карта түскеніне қарай емес, сол сәттегі әрқайсысының жеңу ықтималдығы бойынша есептеледі. Тек осының өзі нәтижелердің шашырауын 2,7 есе азайтты.
Сонымен қатар стек әр үлестіруден кейін қайта орнатылады: ешкім ойыннан шығып қалмайды және барлық үлестірудің салмағы бірдей.
Сонда да екі ойыншы арасындағы бір қос үлестіру шамамен 9 блайндқа ауытқиды. Жұптың нәтижесін бір блайнд дәлдігімен анықтау үшін 320-дай үлестіру керек. Сондықтан арзан модельдер көп қарсыласпен ойнады, ал қымбат Sol мен Opus рейтингі сенімді белгілі болғандармен ғана ойнады: скрипт, Jev, pplx, Luna, Muse Spark Contributor және бір-бірімен.
Нәтижелер кестесі
| # | Ойыншы | Түрі | Бір үлестіруге блайнд | 95% аралық | 1000 үлестіруге $ |
|---|---|---|---|---|---|
| 1 | DeepSeek V4.1 Flash | арзан LLM | +5,4 | +3,4...+8,0 | 6,45 |
| 2 | Muse Spark Contributor | арзан LLM | +4,3 | +2,9...+6,0 | 1,59 |
| 3 | GPT-6.1 Sol | топ | +3,4 | +2,3...+4,6 | 8,68 |
| 4 | GPT-6 Luna | арзан LLM | +3,0 | +1,8...+4,2 | 0,71 |
| 5 | Claude Opus 5.5 | топ | +2,7 | +1,6...+3,7 | 21,97 |
| 6 | GLM 5.3 Flash | арзан LLM | +2,5 | +0,6...+4,2 | 0,60 |
| 7 | MiMo V2.6 Flash | арзан LLM | +2,4 | +1,5...+3,5 | 0,97 |
| 8 | equity_tag (скрипт, ~30 жол) | бот | +2,4 | +1,5...+3,5 | 0 |
| 9 | Jev 1.13 | шешім моделі | +2,0 | +0,5...+3,1 | 0,16 |
| 10 | rock | бот | -0,1 | -1,1...+0,8 | 0 |
| 11 | pplx-decider 27B | шешім моделі | -0,8 | -1,9...+0,1 | 0,17 |
| 12 | maniac | бот | -1,8 | -3,9...0,0 | 0 |
| 13 | calling station | бот | -2,8 | -4,4...-1,2 | 0 |
| 14 | Mercury Decide | шешім моделі | -3,2 | -6,3...-0,2 | 0 |
| 15 | Solar Decide | шешім моделі | -4,0 | -5,6...-2,5 | 0,15 |
| 16 | random | бот | -7,0 | -9,0...-5,0 | 0 |
| 17 | Bielik 11B v3 (локалды) | локалды | -8,4 | -13,9...-2,7 | 0 |
GPTunneL-де бар модельдер қалың қаріппен белгіленген. Алғашқы бес орынның бәрін LLM алды: үшеуі арзан, екеуі топ. DeepSeek пен Opus-тың аралықтары қиылысады, сондықтан бірінші орын - дәлелденген айырма емес, бағалау. Ал бір үлестіру бағасындағы айырма бағалау емес: $6,45 пен $21,97, 3,4 есе.
Топ модельдер арзандарға қарсы: тең
Жалпы рейтинг бүкіл алаңға қарсы есептеледі. Автор Sol мен Opus-ты басқалармен бетпе-бет жеке салыстырды:
| Қарсылас | GPT-6.1 Sol | Claude Opus 5.5 |
|---|---|---|
| 30 жолдық скрипт, 70 үлестіру | +2,4 (+0,2...+4,7) | +0,5 (-1,4...+2,6) |
| Jev 1.13, 20 үлестіру | +0,8 | +0,8 |
| GPT-6 Luna, 20 үлестіру | +0,6 | +0,5 |
| Muse Spark Contributor | 0,0 | -0,9 |
| Бір-біріне қарсы | Opus пайдасына +0,1 | |
| Бір шешімге медианалық уақыт | 7 с | 6 с |
Автордың қорытындысы: топ модельдер өз мүмкіндіктерін бәрінен жақсы бағалайды (нақты мүмкіндікпен корреляция 0,87-0,88) және бірде-бір жарамсыз жауап бермеген. Шешім модельдерін олар ұтады, бірақ аз айырмамен. Ал арзан reasoning-модельдерге қарсы олар тең ойнады, бірақ ол модельдер 10-30 есе арзан. 20 үлестірудегі есепті автор үкім емес, белгі деп атайды, бірақ көрініс бірдей: Luna Sol мен Opus-қа блайндтың бір бөлігін ғана жоғалтады, Muse Spark Contributor Sol-мен тең, ал Opus-ты ұтады.
Топ модельдер әртүрлі ойнайды. Sol сақтырақ: банктердің 58%-ына кіреді және бәске 34% жағдайда карта тастайды. Opus банктердің 67%-ына кіреді және тек 18% жағдайда тастайды, ал оңай жүрістерде ойлануға мүлдем токен жұмсамайды.
Кім кім сияқты ойнайды
Арзан модельдердің неге топ модельдердің қасынан, тіпті жоғарыдан табылғанын автор жеке тәжірибемен көрсетеді. Ол нақты үлестірулерден 40 позиция алып, оларды «қатырды» да, әр ойыншыдан не істейтінін сұрады. Екі ойыншы бірдей әрекет түрін таңдаса, олар «келіседі».
Sol, Opus, Luna, DeepSeek және Muse Spark Contributor позициялардың 65-80%-ында бірдей нәрсені таңдайды, бірақ оларды төрт түрлі компания жасаған. Автордың қорытындысы: жақсы ойын бір стильге қарай жинақталатын сияқты. Арзан reasoning-модельдер оқулыққа жақын ойнайды: көп банкке кіреді, тең түсуден гөрі жиі көтереді және банктің жартысынан толық банкке дейін бәс қояды.
Қалғандары «отбасыларға» бөлінеді. Jev пен pplx шешім модельдері әрқашан тең түсетін calling station боты сияқты ойнайды. Solar мен локалды Bielik кездейсоқ ботқа және әр үлестіруде көтеретін maniac-қа ең жақын.
Айырма басқада - тұрақтылықта. Бір сұрақты екі рет қойғанда GLM 55% жағдайда бірдей жауап береді, MiMo 65%, DeepSeek 82%. Opus 40 рет те бірдей жауап берді және карта мастьтарының атауын ауыстырғанда 38 жағдайда жауабын өзгертпеді, дегенмен позицияның мәні өзгермейді. Sol-да 39 және 40. Шешім модельдері детерминирленген және әрқашан бірдей жауап береді, бірақ мастьтарды қайта атау оларда да шамамен әр оныншы жауапты өзгертеді.
30 жолдық скрипт
equity_tag боты әр жүрісте жеңу мүмкіндігін Монте-Карло әдісімен бағалайды және алда болғанда бәс қояды. Онда ойлану да, бұрынғы үлестірулер туралы жад та жоқ. Жалпы рейтингтегі оның +2,4 нәтижесі MiMo-дан айырмашылығы жоқ.
Sol скриптті сенімді ұтты: +2,4 блайнд және бүкіл аралық нөлден жоғары. Opus ұта алмады: аралығы -1,4-тен +2,6-ға дейін болғанда +0,5, яғни тең. Осы матчта автор шағын іріктеменің қалай алдайтынын көрсетеді. 20 үлестіруден кейін Opus 3,5 блайндқа алда болды және аралық нөлді қамтымады. Автор мұны нәтиже ретінде жаза жаздағанын мойындайды. Келесі 50 үлестіру керісінше кетті де, жиынтығында тең шықты.
Шешім модельдерін скрипт ұтты: Jev 1.13-ті 100 үлестіруде +2,7-ге, Solar Decide-ті +5,3-ке. Автордың сөзінше, бұл тестте лайықты ойнаудың ең арзан жолы әлі де тегін: скрипт Opus, MiMo және GLM деңгейінде ойнады.
Қайда қателеседі
Шешім модельдері - модельдердің жаңа түрі: олар мәтіннің орнына позиция мен нұсқалар тізімін алып, әрқайсысына ықтималдығы бар таңдау қайтарады. Олар арзан (1000 шешімге 5-10 цент) және жылдам: Jev 0,3 секундта жауап береді. Бірақ покерді оғаш ойнайды:
- Solar Decide бір үлестіруде кездейсоқ боттың шағын рейзіне қарсы ең жақсы бастапқы қол - екі тұз алды, мүмкіндігін 48% деп бағалап, карталарын тастады. Карталар ашық болғанда тұздардың мүмкіндігі 84% еді. Бұл кездейсоқ ақау емес: күшті қолы (AA, KK, QQ немесе AK) бар 13 үлестірудің төртеуінде ол оны тастады, ал сол лигадағы кездейсоқ бот - 18-дің үшеуінде. Сондай-ақ Solar үлестірулердің 56%-ында олл-ин жасайды.
- Jev 1.13, шешім модельдерінің ең жақсысы, флопқа дейін үлестірулердің тек 3%-ында көтереді, барлығына дерлік тең түседі, ал флоптан кейін орта есеппен алты банк қояды. Жиі тастайтындарға қарсы бұл жұмыс істейді, бірақ мүмкіндігі жақсы болғанда жай тең түсетін скриптке қарсы мұндай бәстер тұтас стекке түседі.
- pplx-decider соңғы көшедегі жеңу мүмкіндігі кемінде 90% болған 35 позицияның 7-еуінде карталарын тастады.
Барлық шешім модельдері өз қолын төмен бағалайды: pplx орта есеппен 19 пунктке, Jev пен Solar 17-ге, Mercury 15-ке. Тілдік модельдер 4-9 пунктке қателеседі, скрипттер - бір пункттен аз.
Локалды Bielik 11B - SpeakLeash жобасының ашық поляк моделі, ойлану үшін емес, поляк тілі үшін жасалған және ойлану режимі жоқ. Автор оны өзінде іске қосты (Q8, llama.cpp, бір RTX 3090 Ti). Ол кездейсоқ боттан да төмен, соңғы болып келді: банктердің 96%-ына ақша салды, мүмкін болған жағдайлардың 77%-ында қайта көтерді, үлестірулердің 31%-ында олл-ин жасады және бәске бірде-бір рет карта тастамады. Бұл өз мүмкіндігін асыра бағалайтын жалғыз ойыншы, орта есеппен 20 пунктке. Бұл Bielik-тің поляк ассистенті ретіндегі сапасы туралы аз айтады, дейді автор. Бірақ ойланусыз шағын модель покер промптын покерге айналдыра алмайды.
DeepSeek-тің әлсіз жері - уақыт. Ол бір шешімге орта есеппен 100 секундтай, қиын позицияларда бес минутқа дейін ойланады, ал Opus пен Sol-да 6-7 секунд. Оған қарсы бір үлестіру 3-8 минутқа созылады, оның соңғы үлестірулері арзан модельдердің бүкіл лигасын күттіріп қойды. Шешімдердің 3,6%-ында модель 32 768 шығыс токен шегінен асып кетті, мұндай жауаптар қате ретінде есептелді. Соған қарамастан ол бірінші орын алды.
Автордың өзінде не дұрыс болмады
Автор жұмыстың көп бөлігі покер туралы болмағанын жазады. Оның кейбір қателерін модельдерді өзі салыстыратын кез келген адам білгені пайдалы:
- Эло рейтингі маньякты көшбасшы етті. Алғашқы кесте Элоны жеке үлестірулер бойынша есептеді. Әр үлестіруде көтеретін бот көптеген шағын банкті ұтып, бірнеше орасан банкті жоғалтады, сондықтан фишкаларын жоғалта тұрып, ең көп «жеңіс» жинады. Енді рейтинг бір үлестірудегі фишкамен есептеледі.
- Ойлану баптаулары провайдерлер арасында ауыспайды. Әдепкі баптаулармен GLM 8192 токен шегіне дейін ойланып, ештеңе қайтармады, орташа күште мүлдем ойланбады, тек жоғары күште ғана жұмыс істеді. Шек 32 768-ге көтерілгенге дейін DeepSeek жауаптардың үштен бірінде шекке сыймады.
- Сұрау шектеулері нашар ойын сияқты көрінеді. pplx бір прогонда мыңнан астам «сұраулар тым көп» қатесін қайтарды, ал резервтік сценарий оларды үнсіз чекке немесе фолдқа айналдырды. Өте пассивті ойыншы шықты. Енді мұндай үлестірулер қайта ойналады.
- Таңба қатесі. Бірнеше минут бойы автор скрипттің Opus-қа ұтылуын жеңіс деп оқыды. Графиктер дұрыс есептеді, тақырып қате болды.
Шектеулер
Автор қорытындыларды не шектейтінін өзі атайды:
- әр үлестіруде қайта орнатылатын 100 блайнд стекпен тек heads-up;
- бес тұрақты бәс көлемі;
- бәріне бір ағылшынша промпт, басқасы орындарды ауыстыруы мүмкін;
- топ және локалды модельдер азырақ үлестіру ойнады, сондықтан олардың аралықтары кеңірек, ал 20 үлестірудегі матчтарды автор үкім емес, белгі деп атайды;
- нағыз солвермен салыстыру жоқ.
Код және бағасы, кідірісі мен құны бар барлық шешімдер ашық жарияланған: MIT лицензиясымен HoldemBench репозиторийі және Hugging Face-тегі датасет.
Бұл сіз үшін нені білдіреді
Покер сіздің жұмыс тапсырмаңыз емес, бірақ қорытынды кеңірек: қымбат дегенді күшті деп түсінбеу керек. Бұл тестте Opus 5.5 арзан модельдерден жақсы емес, ал онымен бір үлестіру Luna-дан 31 есе қымбат. Токен бағасы да тапсырма бағасына тең емес: нәтиже модельдің жауап үстінде қанша «ойланатынына» байланысты. Сондықтан өз тапсырмаңызды екі-үш модельде іске қосып, прайсты емес, қабылданған нәтиженің бағасын салыстырыңыз.
Тесттегі төрт модельдің GPTunneL-дегі токен бағалары:
| Модель | Кіріс, 1K токенге ₸ | Шығыс, 1K токенге ₸ |
|---|---|---|
| DeepSeek V4.1 Flash | 0,3 | 1,2 |
| GPT-6 Luna | 0,2 (қазір 0,1) | 1 (қазір 0,5) |
| GPT-6.1 Sol | 4 (қазір 2) | 20 (қазір 10) |
| Claude Opus 5.5 | 6 | 30 |
Luna мен Sol-да қазір 50% жеңілдік бар, өзекті бағаларды бағалар бетінен қараңыз.
Қайда сынап көруге болады
Төрт модельдің бәрі GPTunneL-де бар, кез келген шақыруға бір баланс: DeepSeek V4.1 Flash, GPT-6 Luna, GPT-6.1 Sol және Claude Opus 5.5. DeepSeek V4.1 Flash басқа тесттерде қалай көрінгені DeepSeek V4.1 Flash 1017 мақаласында талданған, ал Luna мен Haiku 5.5 жеке шолуда салыстырылды.
Дереккөздер
- HoldemBench: I Made 17 AIs Play 7,700 Hands of Poker, Chrystian Schutz, 05.10.2026 - формат, модельдердің мінез-құлқы, шектеулер.
- HoldemBench репозиторийі, MIT - нәтижелер кестесі, үлестірулердің нақты саны (7729, мақала тақырыбында автор 7700-ге дейін дөңгелектеген) және API-ға жұмсалған $16,44.
- HoldemBench датасеті - әр үлестірудің шешімдері, бағалары, кідірісі және құны.