llama.cpp 1.0: нейрожелілерді жеке компьютерде іске қосуда не өзгерді

llama.cpp 1.0: нейрожелілерді жеке компьютерде іске қосуда не өзгерді

13 қарашада llama.cpp және ggml әзірлеушілері кітапханалардың 1.0.0 нұсқасын шығарды. Үш жарым жыл ішінде бұл жоба тілдік модельдерді жергілікті іске қосудың эксперименттік құралынан жергілікті ЖИ-дің негізгі бағдарламалық іргетастарының біріне айналды. 1.0 нұсқасының басты жаңалығы әзірлеушілер үшін интерфейстердің болжамдылығына қатысты: команда семантикалық нұсқалану ережелерін бекітіп, үйлеспейтін өзгерістерді анығырақ белгілеуге уәде береді.

Нұсқа нөмірін мүмкіндіктердің кенеттен секіруімен шатастырмау маңызды. 1.0 анонсында генерация екі есе жылдамдады немесе кез келген ірі модель енді үй компьютеріне сыяды деген мәлімдемелер жоқ. Оның маңызы - басқа бағдарламалар пайдаланып отырған инфрақұрылымның кемелденуінде.

llama.cpp деген не

llama.cpp - әртүрлі құрылғыларда нейрожелілік модельдерді орындауға арналған ашық бастапқы коды бар жоба. Ол C/C++, ggml есептеу кітапханасын, аппараттық бэкендтерді және модель салмақтарының өлшемін азайтуға мүмкіндік беретін кванттауды пайдаланады. Атауына қарамастан, жоба баяғыда Llama тұқымдасының шеңберінен шығып кетті: әзірлеушілер 150-ден астам архитектура нұсқасын, соның ішінде мультимодальді модельдерді қолдайтынын хабарлайды.

Бірдей бағдарламалық негіз қарапайым процессорда, тұтынушылық бейнекартада немесе серверлік үдеткіште жұмыс істей алады - бірақ өнімділік, қолжетімді модельдер және қажетті жад көлемі айтарлықтай ерекшеленеді. GGUF форматы жергілікті модельдерді және олардың квантталған нұсқаларын тарату үшін кеңінен қолданылады.

Пайдаланушы үшін практикалық құндылық қарапайым: ол жергілікті іске қосылған модельге жіберетін мәтінді сыртқы бұлтты API-ге бермей-ақ, өз құрылғысында өңдеуге болады. Бұл жеке құжаттар үшін, әр токен үшін төлемсіз эксперименттер жүргізуге және тұрақсыз интернет жағдайында жұмыс істеуге өте пайдалы. Дегенмен, модельді жүктеп алу, баптау және оған жеткілікті ресурстарды қамтамасыз ету қажет.

Басты жаңалық: түсінікті үйлесімділік уәдесі

Релиз бірден екі кітапханаға қатысты:

КомпонентМақсатыНұсқасы
libllamaТілдік модельдерді іске қосу және орындау1.0.0
libggmlЕсептеу негізі, тензорлар және бэкендтер1.0.0

Әзірлеушілер жалпыға қолжетімді C интерфейсіндегі өзгерістердің түсінікті схемасын бекітті:

  • MAJOR - бұрынғы жалпыға қолжетімді API-мен үйлеспейтін өзгеріс;
  • MINOR - жаңа модельдер, бэкендтер және үйлесімді API кеңейтімдері;
  • PATCH - жалпыға қолжетімді API-ді өзгертпейтін қателерді түзету.

Бұл ең алдымен llama.cpp-ті өз қолданбаларына кіріктіретін бағдарламашылар үшін маңызды. Егер кітапхана функциялар мен параметрлерді үйлесімділікті түсіндірмей жиі өзгертсе, әзірлеушілерге интеграцияларды үнемі түзетуге тура келеді. Нұсқалардың тұрақты саясатының болуы белгісіздікті азайтады, бірақ өтпелі қиындықтарды толық жоймайды.

Сондықтан 1.0 нұсқасы - мүмкіндіктерді толық тоқтату уәдесі емес, экожүйе үшін тұрақтылық белгісі. Жаңа архитектуралар мен оңтайландырулар шығуын жалғастыра береді.

150-ден астам архитектура және әртүрлі платформаларға таралу

Жарияланған анонста команда 150-ден астам архитектура нұсқасын және speculative decoding негізгі әдістерін қолдауды тізіп өтті - бұл нысаналы модель тексеретін нобайлық болжамдар есебінен генерацияны жеделдету тәсілі. Нақты пайда модельдердің үйлесімділігіне, жабдыққа және сценарийге байланысты.

Тарату үшін Windows, Linux, macOS, Android, iOS, Docker, Debian, Homebrew, conda-forge және Winget сияқты жинақтар мен пакеттердің арналары қарастырылған. Бұл қолданбаларға интеграциялауды жеңілдетеді, бірақ орнатудың әрбір тәсілі бірдей функциялар мен жинақтардың бірдей балғындығын қамтамасыз етеді дегенді білдірмейді.

Әзірлеушілер сондай-ақ NVIDIA, AMD, Qualcomm, Arm, IBM және Intel аппараттық серіктестерінің қатысуымен үздіксіз тестілеуді күшейту туралы айтады. Көптеген GPU және CPU-да жұмыс істеуі тиіс жоба үшін әртүрлі бэкендтерді сынау кезекті модельді қолдаудан кем түспейді.

Күрделі баптаусыз жергілікті нейрожеліні қалай сынап көруге болады

Жаңадан бастаушы үшін ең оңай жол - llama.cpp үстіндегі графикалық бағдарлама. Релизбен қатар Hugging Face командасы macOS және Windows үшін Llama жұмыс үстелі қолданбаларын еске салды. Пайдаланушы қолайлы модельді таңдайды, оны жүктеп алып, қарапайым интерфейс арқылы сөйлеседі. Балама нұсқа - сервер баптаулары немесе автоматтандыру қажет болатындар үшін llama.cpp-ті тікелей командалық жолдан іске қосу.

Орнатпас бұрын қолжетімді жедел және бейнежадты, дискідегі бос орынды, GGUF-файл өлшемін және модель лицензиясын тексерген жөн. Кванттау талаптарды азайтады, бірақ сапаға әсер етуі мүмкін. Салмақтың бір бөлігін жедел жадқа түсіру арқылы жүктеуге болатын ірі модель міндетті түрде жылдам жауап бере бермейді.

Жергіліктілік жүйені автоматты түрде қауіпсіз етпейді: модельдер мен орындалатын файлдарды сенімді дереккөздерден алу керек, ал жергілікті серверді қажеттіліксіз интернетке ашпаған жөн.

Қоғамдастық не дейді

r/LocalLLaMA-да Hugging Face өкілінің 1.0 нұсқасы туралы жарияланымы қызу талқылау тудырып, мыңнан астам оң дауыс алды. Қатысушылар әзірлеушілерге алғыс айтып, жұмыс үстелі қолданбаларының шығарылуын құптады. Бірақ басқа пікір де байқалды: жобаға көбірек сүйемелдеуші әзірлеушілер қажет, өйткені ашық тапсырмалар мен өзгерістерге сұраныстар өте көп. Бұл ашық инфрақұрылымның танымалдылығының екінші жағын көрсетеді: оның тұрақтылығы команда мен қоғамдастықтың уақытына байланысты.

Hugging Face-тегі ресми анонсқа берілген пікірлерде пайдаланушылардың бірі өте ұзын кіріс сұраныстарын өңдеу өнімділігіне шағымданды. Мұндай пікірлер жүйелік регресті дәлелдемейді, бірақ кітапхананың тұрақты нұсқасы мен нақты модельдің орындалу жылдамдығы - әртүрлі сипаттамалар екенін еске салады.

Жергілікті ЖИ бұлтты сервистерді алмастыра ала ма?

Шағын және орташа ашық модельдер үшін жергілікті іске қосу ыңғайлы болуы мүмкін: деректер құрылғы иесінің бақылауында қалады, әрбір сұранысты тарифтеу болмайды, желісіз жұмыс істеу мүмкіндігі бар. Алдыңғы қатарлы ірі модельдер үшін бұлтты сервистердің артықшылықтары сақталады: қуатты үдеткіштер, баптау мәселесінің аздығы, үлкен жад көлеміне және күрделі құралдарға қолжетімділік.

Таңдау тапсырмаға байланысты. Ішкі файлдарды автоматты түрде талдау үшін, егер оның сапасы жеткілікті болса, жергілікті модель қолайлырақ болуы мүмкін. Күрделі бағдарламалау, терең зерттеу немесе ресурсты көп қажет ететін мультимодальді өңдеу үшін бұлтты модель көбінесе практикалық тұрғыдан тиімдірек. Салыстыру тек токен бағасы бойынша ғана емес, сонымен қатар шешім сапасы, жылдамдық, энергия және жабдыққа қызмет көрсету бойынша да жүргізілуі керек.

Қорытынды

llama.cpp 1.0 жергілікті нейрожелілер инфрақұрылымының кемелденуін білдіреді. Релиздің негізгі мәні - libllama және libggml үйлесімділігінің түсінікті ережелері, әртүрлі платформаларда орнатуды дамыту және модельдердің кең экожүйесін қолдау. Қарапайым пайдаланушы үшін өзгерістер біртіндеп сезіледі: неғұрлым тұрақты қолданбалар, оңай жаңартылатын интеграциялар және жергілікті ЖИ-дің қолжетімді құралдары арқылы.

Дереккөздер