Формат: заметка · Рубрика: news · Discover: да
Описание: Новые версии Cosmos 3 Nano помогают создавать дорожные сцены, данные датчиков и изображения для симуляции работы роботов.
NVIDIA представила четыре специализированные версии Cosmos 3 Nano для создания интерактивных симуляций и синтетических данных. Они помогают генерировать дорожные сцены с разных камер, показания лидаров и изображения для задач робототехники. Веса моделей опубликованы, а условия лицензии допускают коммерческое и некоммерческое использование.
Такие модели предназначены прежде всего для разработчиков автономного транспорта и роботов. Они позволяют создавать дополнительные ситуации для обучения и проверки систем: например, менять освещение на дороге или наблюдать, как сцена выглядит после действия робота. Но реалистичная картинка сама по себе не гарантирует точного воспроизведения физики или пригодности симуляции для оценки безопасности.
Четыре модели для разных задач
В публикации на Hugging Face команда NVIDIA описывает четыре дообученных варианта Cosmos 3 Nano. Каждый содержит 16 млрд обучаемых параметров.
Transfer-Auto создаёт синтетические дорожные данные вне режима реального времени. Модель может генерировать согласованное видео с нескольких камер — до 11 ракурсов, включая камеры с широкоугольной оптикой, — и данные лидара. Разработчик задаёт структуру сцены и движение транспорта, а текстом описывает внешний вид, например погоду или время суток.
Sim-Auto развивает тот же подход для потоковой симуляции. Она последовательно генерирует небольшие фрагменты видео и данных лидара, учитывая историю и обновляемые управляющие сигналы. Для полноценного замкнутого цикла нужна дополнительная среда симуляции, которая будет обновлять эти сигналы в ответ на действия автомобиля.
Sim-Transfer превращает данные существующего симулятора и текстовое описание в цветное видео. При этом движение, контакты и физическое состояние рассчитывает сам симулятор: модель отвечает за визуальное представление сцены.
Sim-Bimanual предсказывает, как будет выглядеть окружение после действий двухрукого робота или изменения положения камеры. В качестве исходных данных используется изображение сцены и управляющие команды; действия может задавать управляющая система либо человек с помощью джойстиков.
Зачем нужны искусственные сцены
Роботу или системе автономного вождения недостаточно увидеть одну запись дороги или одну попытку взять предмет. Разработчикам нужны разные условия и редкие ситуации, которые сложно или дорого собрать в достаточном количестве. Синтетические данные помогают расширить набор примеров и изучить реакцию системы на изменения среды.
Важна и согласованность данных: изображение камеры и показания лидара должны описывать одну сцену. NVIDIA предлагает генерировать их совместно, а также адаптировать модели под собственные камеры, датчики и условия с помощью дообучения.
Веса четырёх моделей доступны по ссылкам в публикации NVIDIA. Компания указывает лицензию OpenMDW 1.1: перед применением следует ознакомиться с её условиями. Открытые веса дают исследователям возможность адаптировать модели, но развёртывание и проверка результатов требуют вычислительных ресурсов и технической подготовки.
Сами авторы отмечают, что ещё предстоит измерить, насколько точно эти модели подходят для обучения и оценки управляющих систем, и изучить их ограничения. Поэтому сгенерированные сцены стоит рассматривать как инструмент разработки наряду с другими способами тестирования, а не как замену проверке в реальном мире.
Источник: NVIDIA на Hugging Face.