Инженеры Baseten опубликовали исходный код DeepSeek Ultrafast - высокопроизводительного движка инференса для модели DeepSeek V4.1 Flash. В демонстрационном тесте система достигла скорости 2060 токенов в секунду на восьми ускорителях Nvidia B300. Разработка показывает, насколько сильно скорость работы нейросети зависит от программной инфраструктуры и организации вычислений.
Репозиторий DeepSeek Ultrafast появился в открытом доступе на GitHub в ноябре 2026 года.
Важное уточнение: разработка опубликована командой Baseten Labs, а не непосредственно создателями модели DeepSeek. Она предназначена для ускоренного запуска уже существующей DeepSeek V4.1 Flash.
Насколько быстрым оказался движок
Разработчики опубликовали результаты для двух конфигураций ускорителей Nvidia:
| Показатель | 4 × Nvidia GB300 | 8 × Nvidia B300 |
|---|---|---|
| Скорость генерации | 1740 токенов/с | 2060 токенов/с |
| Время шага декодирования | 3,30 мс | 2,71 мс |
| Среднее число принятых токенов за шаг | 5,6 | 5,7 |
| Обработка входа в 1 млн токенов | 13,2 с | 11,7 с |
| Скорость обработки входа | 76 000 токенов/с | 85 000 токенов/с |
Для проверки скорости использовалось конкретное задание: создать HTML-код игры «Тетрис» без дополнительных объяснений.
При этом режим рассуждений в опубликованном примере воспроизведения теста отключён.
Разработчики также приводят диапазон скорости при повторных запусках: примерно 1700-1770 токенов/с на четырёх GB300 и 1980-2170 токенов/с на восьми B300.
Таким образом, 2060 токенов/с - измеренный результат определённой конфигурации, а не универсальная скорость DeepSeek V4.1 Flash при любых условиях.
Для понимания масштаба: генерация 2000 токенов при скорости 2060 токенов/с занимает около секунды. В реальном сервисе к этому добавляются обработка входного запроса, передача данных и возможное ожидание вычислительных ресурсов.
Как достигается такая производительность
DeepSeek Ultrafast использует несколько подходов к ускорению генерации.
1. Спекулятивное декодирование
Один из важных показателей в отчёте - среднее количество токенов, принимаемых за шаг.
При обычной авторегрессионной генерации модель последовательно формирует новые токены. Спекулятивные методы позволяют предварительно предложить несколько токенов и проверить их совместно, уменьшая число последовательных шагов.
В опубликованном тесте движок принимает в среднем около 5,7 токена за шаг на восьми B300.
Это помогает объяснить высокую скорость декодирования.
2. Повторное использование KV-кеша
При обработке длинных диалогов модель хранит промежуточные представления уже прочитанного контекста в специальном KV-кеше.
Без повторного использования этих данных серверу пришлось бы заново обрабатывать предыдущую историю разговора, что увеличивало бы задержку и стоимость вычислений.
DeepSeek Ultrafast сохраняет кеш между обращениями и поддерживает его передачу между разными серверами.
3. Передача кеша между серверами
Разработчики используют Redis для учёта того, на каком сервере находится кеш соответствующего диалога.
Если следующий запрос попадает на другую машину, нужные данные можно передать между серверами через RDMA, избегая повторного вычисления всего контекста.
По заявлению Baseten, высокая степень сжатия KV-кеша в DeepSeek делает такие передачи достаточно быстрыми для использования при каждом запросе.
Это позволяет гибче распределять нагрузку между серверами.
Миллион токенов контекста
Движок поддерживает контекст длиной до 1 млн токенов.
В опубликованном тесте обработка такого объёма входных данных занимает 11,7 секунды на восьми B300.
Здесь важно различать два показателя:
- Prefill - обработка уже полученного текста запроса.
- Decode - последовательная генерация новых токенов ответа.
Скорость 85 000 токенов/с относится к предварительной обработке входных данных. Она не означает, что модель генерирует ответы с такой же скоростью.
Почему это важно для рынка ИИ
До сих пор развитие нейросетей чаще обсуждалось через увеличение числа параметров, новые архитектуры и результаты бенчмарков.
Однако производительность инференса становится самостоятельным конкурентным преимуществом.
Одна и та же модель может иметь существенно разную задержку, пропускную способность и стоимость обслуживания в зависимости от используемого движка, конфигурации GPU и настроек сервера.
Подобные задачи решают и другие инфраструктурные проекты, включая vLLM и SGLang. Они развивают эффективную обработку запросов, распределение памяти, кеширование и ускоренное декодирование.
DeepSeek Ultrafast представляет специализированный вариант такого подхода, ориентированный на конкретную модель и современные ускорители Nvidia.
Что это даёт пользователям и разработчикам
Высокая скорость особенно полезна в сценариях, где модель должна генерировать большие объёмы текста или программного кода.
Например, ИИ-агенты для разработки могут многократно создавать и исправлять код, запускать тесты и переходить к следующему этапу задачи. Сокращение времени генерации потенциально ускоряет весь рабочий процесс.
Но реальный экономический эффект пока не измерен.
Для сравнения стоимости одной задачи потребовались бы данные о цене GPU-инфраструктуры, загрузке серверов, числе одновременных запросов и общем расходе токенов.
Также нельзя напрямую сравнивать результат DeepSeek Ultrafast с публичными API других моделей, если тесты проводятся на разном оборудовании и с разными параметрами.
Реакция и ограничения результата
Разработчики опубликовали исходный код, инструкции по установке и пример воспроизведения теста. Это позволяет другим инженерам изучить реализацию и проверить заявленные результаты.
Вместе с тем опубликованные цифры пока следует рассматривать как измерения команды Baseten. Независимого сравнительного тестирования этого движка с vLLM и SGLang на одинаковых конфигурациях оборудования в представленных материалах нет.
Отдельное ограничение - требования к запуску. Для демонстрации нужны современные серверные ускорители Nvidia, CUDA 13 и соответствующая инфраструктура. Такой вариант не рассчитан на обычный домашний компьютер.
DeepSeek V4.1 Flash Fast уже предлагается через Baseten Model APIs. Доступный на GitHub код позволяет развернуть собственный сервер с OpenAI-совместимым интерфейсом.
Вывод: достижение 2060 токенов в секунду показывает потенциал специализированного инференса. Для разработчиков ИИ-сервисов это ещё одно свидетельство того, что оптимизация серверной инфраструктуры способна существенно изменить пользовательскую задержку и экономику работы с большими моделями. Но оценивать реальное преимущество необходимо по независимым тестам с одинаковыми условиями и стоимостью выполнения задач.
Источники: