METR зерттеу ұйымы ЖИ-дің Anthropic модельдерін әзірлеуге қалай әсер ететінін бағалады. Ұйымның 2026 жылғы 5 қарашадағы есебіне сәйкес, компания модельдерінің нақты анықталған тапсырмалардағы мүмкіндіктері 2024 жылғы наурыз бен 2025 жылғы қазан аралығындағы кезеңге қарағанда шамамен екі есе жылдам жақсарып жатқан болуы ықтимал. Зерттеушілер жеделдеудің елеулі бөлігін әзірлеу барысында ЖИ қолданумен байланыстырады.
Бағалауда белгісіздік жоғары: METR бұрынғы қарқынмен салыстырғанда 1,3-тен 3 есеге дейінгі нәтиже де таңғалдырмайтынын жазады. Сонымен қатар Anthropic аудиторлар ең ақпаратты деп санаған дәлелдердің көп бөлігін есептің ашық нұсқасынан алып тастаған. Сондықтан оқырман қорытындының бүкіл негізін өз бетінше тексере алмайды.
METR нені бағалады
2026 жылғы 12 тамыздан 29 қазанға дейін METR қызметкерлері Anthropic ішкі деректерін зерттеп, зерттеушілермен сұхбаттасты. Оларға оқыту көрсеткіштері, ішкі модельдердің тест нәтижелері, есептеу ресурстары туралы мәліметтер және ЖИ-дің зерттеуге әсерін талдау ұсынылды.
Команда нақты шарттары бар тапсырмаларда модель мүмкіндіктерінің жақсару қарқынын компанияның бұрынғы қарқынымен салыстырды. Бұл жеке қызметкердің жұмыс күнін секундомермен өлшеу емес және Anthropic-тегі әрбір зерттеу тапсырмасы дәл екі есе жылдам орындалады деген тұжырым да емес. Бағалау METR-ге қолжетімді деректер негізінде модель мүмкіндіктерінің өсу жылдамдығына қатысты.
The Decoder мәліметінше, талдауда қолданылған көрсеткіштердің бірі бірнеше тест нәтижесін біріктіреді. Ол модельдер динамикасын салыстыруға көмектеседі, бірақ олардың нақты жұмыстағы барлық мінез-құлқын сипаттамайды.
METR зерттеу мен әзірлеуде ЖИ қолдану байқалған жеделдеудің басым бөлігін берді деп санайды. Алайда себептік үлесті бөлек анықтау қиын: қарқынға басқа факторлар да әсер етеді, ал Anthropic зерттеушілері ЖИ үлесінің көлемі туралы ортақ пікірге келмеген. Сандарды дәл өлшем емес, сарапшылық бағалау ретінде қарастырған жөн.
Неліктен бұл қауіпсіздік үшін маңызды
Егер ЖИ күштірек жүйелер жасауға көмектессе, ол жүйелер кейінгі зерттеу кезеңін де жылдамдатуы мүмкін. Мұндай кері байланыс әзірлеушілерді қызықтырады, бірақ қауіпсіздік бағалауы мүмкіндіктердің өсуіне ілесе ала ма деген сұрақ туғызады.
METR есебі модель әзірлеу толық автоматтандырылғанын немесе жеделдеу міндетті түрде жалғасатынын дәлелдемейді. Сондай-ақ жаңа мүмкіндіктердің пайда болатын нақты күнін болжамайды. Авторлар белгісіздікті атап өтіп, жасырылған материалдарға байланысты жұртшылық олардың бағасына көбірек сүйенуге мәжбүр екенін айтады.
Anthropic құпия ақпаратты басқа ЖИ әзірлеушілерінің жұмысын жеделдетпеу үшін алып тастағанын мәлімдеді. METR жалпы қорытындыларын жариялай алғанымен, маңызды дәлелдердің бірнеше ықтимал түсіндірмесі барын көрсетеді. Мәліметтің жабық болуы тәуелсіз бағалауды қиындатады.
Нәтиже бір зертхананың ішкі деректеріне сүйенген ықтимал жеделдеу туралы айғақ береді. Одан басқа компанияларда да дәл сондай қарқын бар немесе ол болашақта сақталады деген қорытынды шықпайды. Модельдердің жақсаруындағы байқалған өзгерісті ЖИ-дің оған қосқан белгісіз үлесінен бөлек қарастыру қажет.
Сондықтан екі есе деген санды жеке жұмыскердің өнімділігімен тікелей теңестіруге болмайды. Ол зерттеушілер таңдаған тестілер мен тарихи салыстыру кезеңіне сүйенген жалпы бағалауды сипаттайды.
Дереккөз: METR есебі; қосымша материал: The Decoder.