OpenAI қызметкері Sol орнына Astra-ны қашан таңдайтынын айтты

OpenAI қызметкері Sol орнына Astra-ны қашан таңдайтынын айтты

Әр тапсырма үшін ең қуатты нейрожеліні қолдану міндетті емес. OpenAI-дың EMEA аймағындағы әзірлеушілер тәжірибесі мен қауымдастығына жауапты жетекшісі Вайбхав Шривастав The New Stack басылымына GPT-6 Astra-ны күн сайын қолданбайтынын айтты. Күнделікті жұмысқа ол көбіне GPT-6.1 Sol-ды таңдайды, ал күрделі немесе таныс емес тапсырманы мұқият қарау қажет болғанда Astra-ға жүгінеді.

Оның тәсілі модель таңдауды «қайсысы ақылдырақ?» деген сұрақпен шектемейді. Қандай нәтиже керек екенін, оған қанша уақыт пен қаражат жұмсауға болатынын және жұмысты кейін қалай тексеретініңізді де ойлаған жөн.

Неге ол Astra-ны күн сайын қолданбайды?

Шриваставтың айтуынша, жұмыс барысында кездесетін тапсырмалардың көбіне Sol жеткілікті. Ол таңдауын мүмкіндік пен құнның арақатынасымен түсіндіреді: OpenAI Astra нәтижелеріне жақын, бірақ қолжетімдірек модель жасауды көздеген.

Сұхбатта қызметкер модель сынақтарына және компания ішінде олардың қалай қолданылатынына сілтеме жасайды. Алайда оның «шамамен 95%» деген бағасы Sol кез келген нақты тапсырманы Astra-мен бірдей дерлік орындайды деген кепілдік емес. Нәтиже тапсырмаға және табысты қалай өлшейтініңізге байланысты.

Оқырман үшін бұдан шығатын ой қарапайым: ең қуатты модельді таңдаудан бұрын, мүмкіндігі жеткілікті болуы ықтимал нұсқаны сынап көруге болады. Мысалы, хаттың нобайын жазу немесе құжатты қысқаша мазмұндау үшін қосымша күрделі пайымдау әрдайым қажет емес. Ал жауап маңызды шарттарды елемесе немесе қайта-қайта түзетуді қажет етсе, басқа модельді байқап көруге болады.

Шривастав Astra-ны қашан қосады?

OpenAI қызметкерінің айтуынша, ол жаңа жобаны бастағанда немесе таныс емес мәселеге тап болғанда Astra-ға жүгінеді. Модельден әлсіз тұстарды және өзінің назарынан тыс қалған жайттарды іздеуді сұрайды.

Оның тағы бір тәсілі - орындау мен тексеруді бөлу. Егер функция жасауға Sol көмектессе, нәтижені сыни тұрғыдан қарау үшін Astra-ны қолдануы мүмкін. Екінші модельге жаңа контекст беріп, шешімнің қай жерде қателесуі ықтимал екенін анықтауды сұрайды.

Шривастав бір модельдің өз жұмысын тексеруін адамның өз жұмысын тексеруімен салыстырады: оның пікірінше, мұндайда қатені байқамай қалу оңайырақ. Басқа модель өзгеше көзқарас ұсына алады, бірақ бұл оны толық тәуелсіз сарапшы етпейді. Ол да мәселені өткізіп алуы немесе жоқ кемшілікті бар деп сенімді айтуы мүмкін.

OpenAI-дың тағы бір қызметкері не дейді?

Модель таңдауға бүкіл топтама тұрғысынан да қарауға болады. GPT-6.1 Terra шолуымызда OpenAI қызметкері Тед Сандерстің Hacker News-тегі пікірін келтірдік. Ол жалпы бағдар ретінде Luna → Terra → Sol → Astra ретін ұсынады: сапа бірінші орында болса Astra-ны, бюджет шектеуі орташа болса Sol-ды, ал бюджет қатаңырақ болса Terra немесе Luna-ны таңдауға болады.

Сандерс мұның әр тапсырмаға арналған рейтинг емес, жалпы бағдар екенін де нақтылайды. Оның бағалауынша, Terra техникалық мәтіндерде, суреттерді түсінуде және интерфейстермен жұмыс істеуде пайдалы болуы мүмкін, ал басқа тапсырмалардың көбінде үлкен модельдерден сәл кейін қалады. Бұл - модельді жасаушы компания қызметкерінің пікірі; оны кепілді нәтиже немесе тәуелсіз салыстыру деп қабылдауға болмайды.

Екі қызметкердің ойы бірін-бірі толықтырады: Шривастав Sol мен Astra арасында өзі қалай ауысатынын түсіндіреді, ал Сандерс тапсырма мен бюджетке қарай топтамадағы басқа модельдерді де қарастыруды ұсынады.

Модельді ауыстыру қажет екенін қалай түсінуге болады?

Шривастав модельдерді нақты жеке тапсырмаларда бағалауға кеңес береді: бірдей нәтижені арзанырақ алуға бола ма немесе қолайлы шығынмен жақсырақ нәтижеге жетуге бола ма - соны салыстыру керек. Ол жылдамдық туралы да айтады: жауап нақты уақытта қажет болса, жылдамырақ режим пайдалы болуы мүмкін, бірақ оған әр тапсырма үшін қосымша ақы төлеу қажет емес.

Бір сұраныстың бағасымен ғана шектелмеңіз. Арзан модельге бірнеше әрекет керек болып, қымбат модель бірден жарамды жауап берсе, бүкіл үдерісті салыстырған жөн: сұраныстарды, түзетуге кеткен уақытты және соңғы нәтиженің сапасын. Ал қарапайым тапсырмада қымбат модельдің қосымша пайдасы байқалмауы мүмкін.

Екінші модельмен тексеру қайда пайдалы?

Бұл тәсілді бағдарламалаудан басқа жерде де қолдануға болады. Бір модель жоба жоспарын жасаса, екіншісі кезеңдер арасындағы ұмыт қалған байланыстар мен ықтимал кідірістерді іздей алады. Есеп дайындағанда екінші модель қайшылықтар мен дереккөз қажет тұжырымдарды табуға көмектеседі.

Кодта бірінші модель функция жазып, екіншісі шеткі жағдайлар мен ықтимал қателерге назар аудара алады. Бюджетті бір модель есептесе, екіншісі формулаларды, бастапқы болжамдарды және ұмыт қалған шығындарды тексере алады.

Тексерудің мәні болуы үшін екінші модельге бастапқы тапсырманы да, бірінші нәтиженің өзін де беріңіз: әйтпесе ол қандай шарттар орындалуы керегін білмейді. Оның ескертулерін адам бағалауы тиіс. Маңызды құжаттарда, қаржы шешімдерінде немесе қауіпсіздік мәселелерінде мұндай шолу қосымша тексеруді қажет ететін тұстарды көрсетуі мүмкін, бірақ маманды алмастырмайды.

Дереккөздер