NVIDIA интерактивті симуляция мен синтетикалық деректер жасауға арналған Cosmos 3 Nano моделінің төрт арнайы нұсқасын таныстырды. Олар бірнеше камерадан көрінетін жол көріністерін, лидар деректерін және робототехникаға арналған кескіндерді жасайды. Модель салмақтары жарияланған, ал лицензия шарттары коммерциялық және коммерциялық емес пайдалануға рұқсат береді.
Бұл модельдер ең алдымен автономды көлік пен роботтарды әзірлеушілерге арналған. Олар оқыту мен тексеру үшін қосымша жағдайлар жасауға көмектеседі: мысалы, жолдағы жарықты өзгертуге немесе робот әрекетінен кейін көріністің қалай өзгеретінін көруге болады. Дегенмен шынайы көрінетін сурет физиканың дәлдігін немесе симуляцияның қауіпсіздікті бағалауға жеткілікті екенін өздігінен дәлелдемейді.
Әртүрлі тапсырмаға арналған төрт модель
NVIDIA командасы Hugging Face мақаласында Cosmos 3 Nano негізінде қосымша оқытылған төрт нұсқаны сипаттайды. Әрқайсысында 16 млрд оқытылатын параметр бар.
Transfer-Auto синтетикалық жол деректерін алдын ала жасайды. Модель 11 камераға дейін, соның ішінде кең бұрышты камералардан алынған үйлесімді бейне мен лидар деректерін жасай алады. Әзірлеуші көрініс құрылымы мен көлік қозғалысын белгілейді, ал мәтін арқылы ауа райы немесе тәулік уақыты сияқты сыртқы көріністі сипаттайды.
Sim-Auto осы тәсілді ағындық симуляция үшін дамытады. Ол алдыңғы тарих пен жаңартылған басқару сигналдарын ескере отырып, бейне мен лидар деректерінің қысқа бөліктерін кезекпен жасайды. Толық тұйық цикл үшін көлік әрекетіне қарай сигналдарды жаңартатын қосымша симуляция ортасы қажет.
Sim-Transfer қолданыстағы симулятор деректері мен мәтіндік сипаттаманы түрлі түсті бейнеге айналдырады. Қозғалысты, жанасуды және физикалық күйді симулятордың өзі есептейді, ал модель көріністің визуалды бейнесін жасайды.
Sim-Bimanual екі қолды робот әрекет еткеннен немесе камера орны өзгергеннен кейін қоршаған ортаның қалай көрінетінін болжайды. Бастапқы кескін мен басқару командалары беріледі; әрекеттерді басқару жүйесі немесе джойстик қолданатын адам анықтай алады.
Жасанды көріністер не үшін қажет
Роботқа немесе автономды жүргізу жүйесіне жолдың бір жазбасын немесе затты алудың бір әрекетін көру жеткіліксіз. Әзірлеушілерге әртүрлі жағдайлар мен сирек кездесетін оқиғалар керек, ал оларды жеткілікті көлемде жинау қымбат әрі қиын болуы мүмкін. Синтетикалық деректер мысалдар санын көбейтіп, жүйенің орта өзгерген кездегі реакциясын зерттеуге көмектеседі.
Деректердің өзара сәйкестігі де маңызды: камера кескіні мен лидар көрсеткіштері бір көріністі сипаттауы керек. NVIDIA оларды бірге жасауды және модельдерді қосымша оқыту арқылы өз камераларына, датчиктеріне және жұмыс жағдайларына бейімдеуді ұсынады.
Төрт модельдің салмақтарын NVIDIA мақаласындағы сілтемелер арқылы алуға болады. Компания OpenMDW 1.1 лицензиясын көрсетеді: пайдаланар алдында оның шарттарымен танысу керек. Ашық салмақтар зерттеушілерге модельдерді бейімдеуге мүмкіндік береді, бірақ оларды іске қосу және нәтижелерін тексеру есептеу ресурстары мен техникалық дайындықты талап етеді.
Авторлар бұл модельдердің басқару жүйелерін оқыту мен бағалауға қаншалықты дәл жарайтынын әлі өлшеу және шектеулерін зерттеу қажет екенін атап өтеді. Сондықтан жасалған көріністерді нақты әлемдегі тексерудің орнына емес, басқа сынақ әдістерімен қатар қолданылатын әзірлеу құралы ретінде қарастырған жөн.