Сәлем. Мен Дима, ChatGPT жұмыс істемейтін қаладан жазып отырмын. Айналма жолдар мен телеграм боттарынан жеткілікті азап шеккеннен кейін, командам екеуміз оған кез келген жерде қолжетімді өз интерфейсімізді жасауға шештік.
Үмітсіздік
OpenAI-дың ChatGPT-і таныстыруды қажет етпейді, көп жерде ол мүлдем жақсы жұмыс істемейтіні де таныс факт. Егер әлі байқап көрмеген болсаңыз, оған ұнайтын VPN табуға, оған ұнайтын виртуалды телефон нөмірін жалдауға және оған ұнайтын картадан 20 доллар төлеуге тура келеді. Түсінген боларсыз.
2023 жылы интернетті қалай пайдалану керек
Жеке өзім компьютерлермен жақын қарым-қатынасты жақсы көремін, бірақ тиісті VPN арқылы қосылуды үнемі ұстап тұру қажет болғанда маған да жаман болды. Полшадағы серверім OpenAI-ды да, жергілікті стриминг қызметін де қанағаттандырмайды екен. Иә, оны ауыстыруға немесе басқа нәрсеге ақша төлеуге болатын еді, бірақ мені тоқтату мүмкін емес еді.
Іздеу
Дерлік барлық веб-қолданбаларда сервер жағы мен клиент жағы бар. Ал клиентті қалыпты пайдалана алмасаңыз, серверді неге пайдаланбасқа? Бақытымызға орай, OpenAI-дың мұндай тапсырмаларға арналған анық API-і бар. Оның үстіне, жалпы мәселенің айқын шешімі болса, оны біреу бұрыннан қолданған дегенді білдіреді — ойға бірінші келетіні телеграм бот. Онда чатқа арналған дайын клиент бар, тек OpenAI-ге сұрауларды бағыттайтын қарапайым сервис жазу қалады. Сосын әрбір сұрау үшін алынатын шегерімдер балансты нөлге түсірмеу үшін оны кездер-кездер толықтырып тұру ғана қалады.
Мұндайлар өте көп екен. Оларда сұраулар немесе токендер сатып алуға болады. Кейбіреулері бот белсендіргенде тегін беріледі. Токен — бұл ботты өңдейтін сөздің бөлігі, әріп немесе тұтас сөз. Әдетте генерацияланған жауаптағы бір сөз 1 токеннен сәл көбірек тұрады. Кейбір тілдерде кодтауға байланысты бағасы қымбатырақ.
Үміт
Негізінен маған GPT әртүрлі бағдарламалардың конфигурациялары туралы сұхбаттасу, бірнеше бағдарламалау тілдерінде есептерді шешу, жаңа мәтіндер жазу және барлармен түзету үшін керек. Көптеген адамдар ChatGPT дегеніміз Google сияқты деп ойлайды: сен одан сұрайсың, ол сәйкес материалдарды табады, тек тыныш ойланып шығарған нәтижемен бірге, тіпті ыңғайлырақ.
Шын мәнінде, керегіңізге сай нәтиже алу үшін модельді үйретумен айналысу керек. Кейде нейрожелі әңгіме не туралы екенін жалпы "түсіну" үшін бір контексте 10 сұрау жазу керек, ал соңында бір қарапайым сұрақ қойып, керемет жауап алу керек.
ミーシャ、全部クソ、もう一度やり直そう!
Телеграм боттарда контексті ауыстыруға арналған /forget командасы бар, оны нейрожеліні бұрын не туралы сөйлескеніңізді "ұмытсын" деп, менің kubernetes кластерімнің ерекшеліктерін "есінде" ұстап тұрып, балаларға арналған жазғы оқу бағдарламасын ойлап табуға тырыспасын деп пайдаланған дұрыс.
Жалпы бәрі жақсы жүрді, кейін жаман бола бастады. Боттармен өткізген уақытымда мен үш нәрсені түсіндім:
- Маған бұрынғы контекстерге тез қайта оралып, диалогты жалғастыра білу керек
- GPT-4 керек, өйткені ол сұмдық ақылды, сол жазылымда болғаны жақсы болар еді
- Нейрожелінің жауапты қалай теретінін көріп, байқаусызда аяқталмаған жіберген сұрақтағы оның "ойлар" ағынын қалай да тоқтата білу керек
Ал телеграм, ChatGPT-тің түпнұсқа интерфейсінен айырмашылығы, мұны істей алмайды.
Даму
Бәрі шеңберіне қайта оралды, мен маған шын мәнінде ChatGPT-тің өзі, яғни дербес сервис керек екенін түсіндім.
Осы сұрау бойынша табуға болатын ең жақсысы — жергілікті кейбір карталарды қабылдамайтын Merlin сияқты шетелдік сервистер, GitHub-тағы өз API кілтіңізбен орналастыруға болатын түрлі жасалымдар және біреу қосқан, бірақ толыққанды пайдалану мүмкін емес бірнеше аяқталмаған интерфейс.
Мұндай жағдайларда ойға бірінші келетіні — егер бұл мәселе тек менде ғана болмаса, өз шешіміңді жазу керек екені. Жалпы чаттарда үн қатып, таныстарыма және олардың таныстарына жаза бастадым. Сол жерде API-ды бірлесіп сатып алып, оны 5-10 адамдық компанияларына бекітетін адамдар бар екенін таңдана байқадым. Нәтижесінде тоқтамай ақша алуды сұраған бір топ адам жиналды.
Осы кезде Script Heads-тегі, бірге әртүрлі салаларда талай керемет өнім жасаған әріптестерім де осы қиындықты көрді, және біз әзірлеуді бастадық. Осы уақытқа дейін бізде чаттар, эквайринг, жазылымдар және басқа да барлық нәрсе бойынша дайындықтар, сонымен қатар Yandex Cloud-та тамаша кластер болды. Оның үстіне біз ЕО-да өкілдік етеміз, бұл OpenAI-мен есеп айырысуды жүйелі түрде жүргізе алатынымызды білдіреді.
Жұлдыздар сәйкес келді, содан GPTunneL пайда болды.
Аспаннан жұлдыз алмайды, өзіндік болуға талпынбайды, тек өз ісін істейді. Дәл керегіндей. Тұрақтылықтың алғашқы жаңартуларын шығарып жатқанда, API арқылы басқа да нейрожелілерді қосу идеясы туды. Осылай бізде Midjourney пайда болды. Осымен тоқтауға болар еді, бірақ мұны бизнеске бағытталған платформада оқып отырған адам, әрине, бәрі қалай құрылғанын білгісі келеді.
Есептеулер
Бізде заңды тұлға және банкпен интернет-эквайрингке келісім бар. Банк пайдаланушылардан ақша жинайды, содан кейін процесс мынадай көрінеді:
Ерекше ештеңе жоқ, бірақ мұны жалғыз өзің жасау шынымен қиын. Одан кейін API лимиттерін жұмсау басталады, онда белгілі бір көлемде айлық несие беріледі. Одан асып кетуге болмайды, тек қолдау қызметімен лимитті ұлғайту туралы келісіп, жауап күту керек. OpenAI токендерді мыналар үшін алады:
- Сұраудың өзі үшін
- Жауаптағы әрбір сөз үшін
- Хат-хабар тарихындағы әрбір алдыңғы хабарлама үшін
GPT-3.5 мен GPT-4 үшін баға әртүрлі. Сұраудың қанша тұруы керегін бағалап, есептеуге тура келді, өйткені төлемді түсіндіру өте қиын. Сынақ пен қателер арқылы пайдаланушылар виртуалды валюта — токендерді сатып алатын схемаға келдік. Бастапқы нүкте ретінде 3.5-ке сұрау 1 токен, 4-нұсқаға — 3 токен, ал Midjourney-ге — 15 токен тұрады. Токендер pay as you go форматында үш нұсқада толықтырылады:
- 25 токен — 1 доллар
- 100 токен — 3 доллар
- 400 токен — 8 доллар
Осылай барлық шығындарды жабу сәйкес келе бастады. Ары қарай көреміз.
Бизнес пе?
Біз бұл қарапайым сервистің жұмыста және өмірде нейрожелілерді пайдалану маңызды болатын аудиторияны жинай алады деп үміттенеміз. Ботпен қарапайым сөйлесу — біз көргіміз келетін өнім емес, керісінше дәл қазіргі мәселелерді шешу. Қазір біз қарапайым чаттан гөрі нейрожелілердің арнайы интерфейстері арқылы шешілуі тиімдірек болатын мәселелерді табу үшін пайдаланушылардың мінез-құлқын талдап, деректер жинап жатырмыз. Егер сізде осындай мәселелер болса — түсініктемелерге жазыңыз, біз пайдалы нәрселерді іске қосуды және үздіксіз жетілдіруді жақсы көреміз.