Новинка: Grom Zvuk — наша музыкальная модельПослушать и попробовать

Haiku 5.5 и GPT-6 Luna: что выбрать, если цены почти равны?

Haiku 5.5 и GPT-6 Luna: что выбрать, если цены почти равны?

7 октября Anthropic выпустила Claude Haiku 5.5 - самую быструю свою модель - и сразу сравнила её с GPT-6 Luna от OpenAI, вышедшей 22 сентября. В тестах Anthropic Haiku выигрывает у Luna везде, а в живых сессиях Agent Arena Luna стоит выше. Цена токена у моделей в нашем прайсе почти равна, поэтому выбирать приходится по задаче.

Плюшевый Tun выбирает между двумя стеклянными шарами, коралловым и мятным: Haiku 5.5 или GPT-6 Luna

Все модели в одной таблице

Haiku 5.5 - первая модель этого класса у Anthropic с регулируемым усилием: меньше усилия - дешевле и быстрее, больше - умнее. У Luna такая настройка есть с самого начала. Рядом с новыми моделями поставили их предшественников:

Haiku 5.5 (актуальная)GPT-6 Luna (актуальная)Haiku 4.5 (прошлая)GPT 5.6 Luna (прошлая)
Цена в GPTunneL, ₽ за 1K, вход / выход0,03 / 0,150,04 / 0,2, сейчас 0,02 / 0,10,2 / 10,04 / 0,24
Контекст1 млн1,05 млн200 тыс.1,05 млн
OSWorld 2.1, работа с компьютером72,4%48,9%15,7%нет данных
Terminal-Bench 4.0, код в терминале39,2%16,4%0,0%нет данных
FrontierCode 1.1 Main, код-агенты46,4%42,4%не опубликованнет данных
Chartography, графики без инструментов46,4%29,1%6,4%нет данных
GDPval-AA v2.1, рабочие задачи, Elo16201437735нет данных
AA-Briefcase v1.1, рабочие задачи, Elo15781336614нет данных
Agent Arena, место (сводный показатель)27-е (+1,88%)19-е (+3,26%)нет данных37-е (-1,80%)

Жирным выделены две актуальные модели и лучший результат между ними в каждой строке с замерами. Замеры по тестам - из анонса Anthropic, то есть данные вендора: Luna компания прогоняла сама через API OpenAI. Цены у GPT-6 Luna сейчас вдвое ниже обычных из-за стартовой скидки 50%, актуальные смотрите на странице цен. «Нет данных» значит, что модель в этом замере не участвовала или результата нет в источнике.

Что видно из таблицы:

  • Haiku 5.5 против GPT-6 Luna. Haiku выигрывает все шесть тестов Anthropic: сильнее всего в Terminal-Bench (39,2% против 16,4%) и OSWorld (72,4% против 48,9%), слабее всего во FrontierCode (46,4% против 42,4%). Но в Agent Arena, где модели оценивают в реальных сессиях, выше Luna, а по цене токена модели почти равны. Победитель в тестах не обязательно побеждает в работе.
  • Haiku 5.5 против 4.5. Цена ниже в 6-7 раз, в OSWorld результат вырос с 15,7% до 72,4%, а в Terminal-Bench с нуля до 39,2%. Если вы сидите на Haiku 4.5, переход окупается сразу.
  • GPT-6 Luna против 5.6 Luna. Вход стоит столько же, выход чуть дешевле (0,2 против 0,24 ₽), а в Agent Arena Luna поднялась с 37-го места на 19-е. Настройки у них разные: 5.6 на xHigh, 6 на Max.

Две оговорки. OSWorld - это офлайн-набор из 82 задач, и 72,4% и 48,9% - зачёт с частичными баллами: по строгому счёту Haiku проходит 37,1% задач (системная карта), а строгого счёта Luna в ней нет. Независимый индекс Artificial Analysis на максимальном усилии тоже в пользу Haiku, 43 против 38, но на high-усилии Haiku набирает те же 38, что Luna на max.

Где Luna впереди

По знаниям без поиска Luna точнее: в AA-Omniscience 44% верных ответов против 36% у Haiku. Зато Haiku реже придумывает ответ там, где не знает: доля выдуманных ответов 40% против 77%. Это замер Artificial Analysis от 7 октября, в пересказе Latent Space.

Что говорят голоса на Arena

На arena.ai модели оценивают пользователи. Данные на 13-14 октября.

Агенты (Agent Arena, 2,58 млн сессий). Рейтинг строится по успеху задач, оценке пользователей и управляемости. Luna выше: сводный показатель +3,26% (±0,49) против +1,88% (±0,98) у Haiku, и интервалы почти не пересекаются. По управляемости модели равны (+6,17% и +6,40%). Настройки разные: Haiku на high, Luna на max.

Веб-разработка (Code Arena, WebDev). Здесь ничья: у Haiku 1585 баллов (±12, 2 771 голос), у Luna 1582 (±6, 17 869 голосов). Три балла меньше погрешности, а у Haiku голосов в шесть раз меньше, так что цифра ещё сдвинется.

То есть на синтетических тестах агентных задач лидирует Haiku, а в живой работе агентов выше оказывается Luna. Какой результат ближе к вашему сценарию, решать вам.

Цена задачи, а не токена

Расход токенов важнее прайса. По данным Artificial Analysis, на максимальном усилии Haiku тратит около 162 тысяч выходных токенов на задачу индекса, а Luna - около 50 тысяч. Haiku на high тратит около 55 тысяч - почти как Luna на max.

Пример по прайсу GPTunneL: 30 тысяч токенов на входе и 3 тысячи на выходе.

СценарийHaiku 5.5GPT-6 Luna (без скидки / со скидкой)
Одинаковый выход, 3 тыс.1,35 ₽1,8 ₽ / 0,9 ₽
Haiku на max: выход втрое больше, 9 тыс.2,25 ₽1,8 ₽ / 0,9 ₽

Цена токена Haiku ниже, но при тройном расходе задача выходит дороже, чем у Luna даже без скидки. Поэтому выставляйте усилие осознанно, а стоимость мерьте на своих запросах.

Так что выбрать: Haiku 5.5 или Luna 6

ЗадачаМодельПочему
Агент управляет компьютером или терминаломHaiku 5.5в тестах Anthropic отрыв около 23 пунктов, но проверьте на своих сценариях: в живых сессиях Arena Luna выше
Ответы на вопросы по фактам без поискаLunaв AA-Omniscience 44% верных против 36%
Нужно лучше промолчать, чем выдуматьHaiku 5.5выдуманных ответов 40% против 77%
Вёрстка и веб-разработкалюбаяна Arena ничья, 1585 против 1582
Массовые запросы при жёстком бюджетеLunaвтрое меньше токенов на max-усилии и скидка 50% сейчас

Что это значит для вас

Не выбирайте по одной таблице. Прогоните десять своих реальных запросов через обе модели на одинаковом усилии и сравните не токены, а цену принятого результата: сколько стоит ответ, который вам не пришлось переделывать. Если победил Haiku, разница в токенах окупится качеством, если нет - Luna обойдётся дешевле.

Где попробовать

Обе модели есть в GPTunneL: Claude Haiku 5.5 и GPT-6 Luna, один баланс на оба вызова. Про выбор между Sonnet и Opus той же линейки - в разборе Sonnet 5.5 или Opus 5.5, про сам релиз Luna - в статье GPT-6 Sol и Luna.

Источники