Baseten компаниясының инженерлері DeepSeek V4.1 Flash моделіне арналған DeepSeek Ultrafast атты жоғары өнімді инференс қозғалтқышының бастапқы кодын ашық қолжетімділікке шығарды. Демонстрациялық сынақ барысында жүйе сегіз Nvidia B300 үдеткішінде секундына 2060 токен генерациялау жылдамдығына қол жеткізді. Бұл жетістік нейрожелінің жұмыс жылдамдығы бағдарламалық инфрақұрылым мен есептеулерді дұрыс ұйымдастыруға қаншалықты тәуелді екенін көрсетеді.
DeepSeek Ultrafast репозиторийі 2026 жылдың қарашасында GitHub платформасында көпшілікке ұсынылды.
Маңызды нақтылау: бұл шешімді DeepSeek моделін жасаушылар емес, Baseten Labs инженерлік тобы әзірлеген. Ол бұрыннан бар DeepSeek V4.1 Flash моделін барынша жылдам әрі тиімді іске қосу үшін жасалған.
Қозғалтқыш қаншалықты жылдам болып шықты
Әзірлеушілер Nvidia үдеткіштерінің екі түрлі конфигурациясы үшін алынған нәтижелерді жариялады:
| Көрсеткіш | 4 × Nvidia GB300 | 8 × Nvidia B300 |
|---|---|---|
| Генерация жылдамдығы | 1740 токен/с | 2060 токен/с |
| Декодтау қадамының уақыты | 3,30 мс | 2,71 мс |
| Бір қадамда қабылданған орташа токен саны | 5,6 | 5,7 |
| 1 млн токендік кірісті өңдеу уақыты | 13,2 с | 11,7 с |
| Кіріс мәтінді өңдеу жылдамдығы | 76 000 токен/с | 85 000 токен/с |
Жылдамдықты тексеру үшін нақты тапсырма таңдалды: артық түсініктемелерсіз «Тетрис» ойынының толық HTML кодын құрастыру.
Бұл ретте ресми сынақта ойлану режимі әдейі өшірілген.
Сондай-ақ әзірлеушілер сынақты қайталау кезіндегі жылдамдық ауқымын да көрсетеді: төрт GB300 үдеткішінде шамамен 1700-1770 токен/с, ал сегіз B300-де 1980-2170 токен/с аралығында.
Осылайша, 2060 токен/с - нақты серверлік жабдықта өлшенген нәтиже, ол кез келген жағдайдағы өзгермейтін тұрақты жылдамдық емес.
Салыстыру үшін айтсақ: секундына 2060 токен жылдамдықпен 2000 токен көлеміндегі жауапты алу шамамен бір секунд қана уақытты алады. Нақты сервисте бұған сұранысты өңдеу, деректерді желі арқылы тасымалдау және серверлік кезек уақыты қосылады.
Мұндай жоғары өнімділікке қалай қол жеткізілді
DeepSeek Ultrafast генерацияны жеделдету үшін бірнеше негізгі тәсілді қатар қолданады.
1. Спекулятивті декодтау
Есептегі ең маңызды көрсеткіштердің бірі - бір қадамда қабылданатын орташа токендер саны.
Әдеттегі авторегрессиялық генерация кезінде модель жаңа токендерді бірінен соң бірін ретімен жасайды. Спекулятивті әдістер бірден бірнеше токенді алдын ала болжап, оларды бірге тексеруге мүмкіндік береді, бұл қадамдар санын азайтады.
Сынақта қозғалтқыш сегіз B300 үдеткішінде бір қадамда орта есеппен 5,7 токенді бірден қабылдаған.
Бұл декодтау қадамының небәрі 2,71 миллисекундқа дейін қысқаруын түсіндіреді.
2. KV-кэшті қайта пайдалану
Ұзақ диалогтарды өңдеу кезінде модель бұрын оқылған мәтіннің аралық нәтижелерін арнайы KV-кэште сақтайды.
Бұл деректер қайта пайдаланылмаса, серверге әңгіменің барлық тарихын қайта есептеуге тура келіп, жауап беру уақыты мен шығын артар еді.
DeepSeek Ultrafast сұраныстар арасында кэшті есте сақтап, оны түрлі серверлер арасында оңай жіберуді қамтамасыз етеді.
3. Серверлер арасында кэш алмасу
Әзірлеушілер нақты диалог кэші қай серверде орналасқанын қадағалау үшін Redis қолданады.
Егер келесі сұраныс басқа машинаға түссе, қажетті деректер RDMA арқылы серверлер арасында жылдам тасымалданады, бұл контекстті басынан бастап қайта есептеуден құтқарады.
Baseten мәлімдеуінше, DeepSeek-тің KV-кэшті жоғары дәрежеде сығу мүмкіндігі осындай тасымалдауды әрбір сұраныс сайын кедергісіз жасауға жағдай туғызады.
Бұл серверлер арасындағы жүктемені анағұрлым икемді бөлуге жол ашады.
Бір миллион токен контекст
Қозғалтқыш 1 миллион токенге дейінгі контекст көлемін қолдайды.
Сынақ барысында осындай үлкен көлемдегі кіріс мәліметтерді өңдеу сегіз B300 үдеткішінде небәрі 11,7 секундты алды.
Мұнда екі көрсеткішті нақты ажырату қажет:
- Prefill - жіберілген дайын сұраныс мәтінін алғашқы өңдеу.
- Decode - жауаптың жаңа токендерін біртіндеп генерациялау.
85 000 токен/с жылдамдығы кіріс деректерді алдын ала оқуға ғана қатысты, бұл модель осындай жылдамдықпен жауап береді дегенді білдірмейді.
Бұл неліктен жасанды интеллект нарығы үшін маңызды
Осы уақытқа дейін нейрожелілердің дамуы көбінесе параметрлер саны, жаңа архитектуралар және бенчмарктер арқылы талқыланып келді.
Дегенмен инференс өнімділігі бүгінде жеке әрі маңызды бәсекелестік артықшылыққа айналып отыр.
Бір ғана модель қолданылатын қозғалтқышқа, серверлік параметрлер мен GPU конфигурациясына байланысты мүлдем басқа кідіріс, өткізу қабілеті мен баға көрсеткіштерін көрсетуі мүмкін.
Осыған ұқсас міндеттерді vLLM және SGLang сияқты танымал жобалар да шешіп келеді.
DeepSeek Ultrafast осындай тәсілдің нақты бір модельге және заманауи Nvidia үдеткіштеріне арнайы бейімделген нұсқасын ұсынады.
Бағдарламашыларға қандай пайда әкеледі
Мұндай жоғары жылдамдық әсіресе үлкен көлемдегі мәтін мен код генерациялауды қажет ететін жағдайларда аса тиімді.
Мысалы, код жазатын ЖИ-агенттер бір тапсырма аясында кодты бірнеше рет өзгертіп, тестілерді іске қосып, бағдарламаны қайта тексереді. Генерация уақытының минуттардан секундтарға дейін қысқаруы бүкіл жұмыс процесін түбегейлі өзгертеді.
Алайда нақты экономикалық тиімділік әзірге өлшенген жоқ.
Бір тапсырманың құнын нақты салыстыру үшін серверлік инфрақұрылым бағасы, серверлердің жүктемесі және токендердің жалпы шығыны туралы мәліметтер қажет.
Сонымен қатар DeepSeek Ultrafast нәтижелерін әртүрлі жабдықта сыналған өзге модельдердің бұлттық API-ларымен тікелей салыстыруға болмайды.
Қолжетімділік пен шектеулер
Әзірлеушілер бастапқы кодты, нұсқаулықтар мен тест сценарийлерін GitHub-та толық жариялады. Бұл басқа инженерлерге жүйенің қалай құрылғанын зерттеуге мүмкіндік береді.
Сонымен қатар жарияланған сандар әзірге тек Baseten тобының жеке өлшемдері болып табылады. Бірдей жабдықта vLLM немесе SGLang-пен тәуелсіз салыстырмалы сынақтар әлі жүргізілген жоқ.
Тағы бір шектеу - жабдыққа қойылатын талаптар. Жүйені іске қосу үшін заманауи Nvidia серверлік үдеткіштері, CUDA 13 және қуатты желілік инфрақұрылым қажет. Мұндай конфигурация қарапайым компьютерге арналмаған.
DeepSeek V4.1 Flash Fast қазірдің өзінде Baseten Model APIs арқылы ұсынылуда, ал GitHub коды OpenAI интерфейсіне үйлесімді жеке серверді орнатуға мүмкіндік береді.
Қорытынды: Секундына 2060 токен жылдамдыққа жету инференсті оңтайландырудың зор әлеуетін дәлелдейді. ЖИ сервистерін жасаушылар үшін бұл серверлік баптаулардың пайдаланушы күту уақыты мен жоба экономикасын түбегейлі өзгерте алатынының кезекті дәлелі.
Дереккөздер: