21 тамызда Runway Ruby моделін шығарды — ол ештеңе генерацияламайды. Модель дайын SDR-роликті алып, оның жарықтығын HDR-ге жаяды: бастапқы пиксельдер мен дыбысты сақтайды, ештеңені қайта салмайды, тек люма мен түсті HDR-ауқымға кеңейтеді. Кіріске өзің жүктеген файл да, Runway-дің кез келген басқа моделінің нәтижесі де жарайды. Қолжетімділік — Max және Enterprise тарифтерінде, оған қоса API-де жеке эндпоинт.
Ашық бета болған жоқ: модель бірден өнімде де, API-де де пайда болды. Runway негізін қалаушы Кристобаль Валенсуэла оны компанияның сегіз жылға жуық тарихындағы ең күтілген мүмкіндіктердің бірі деп атады — және бұл жерде дауласқың келмейді: AI-видеоны шынайы монтажға беретіндердің бәрінде дұрыс HDR-шығысқа сұраныс жиналып қалған. Ал «converts SDR video up to 16-bit HDR» деген тұжырым шын болып жатқан нәрседен әсерлірек естіледі.
Ruby шын мәнінде не істейді
API құжаттамасындағы тұжырым пресс-релизден адалырақ: шығыс «дереккөздің өз пиксельдерін сақтайды — люма мен түс HDR-ауқымға кеңейтіледі, ештеңе қайта синтезделмейді». Яғни бұл кадрды генеративті қайта салу емес, өте ұқыпты нейрожелілік inverse tone mapping: модель кадрдың жарықтық құрылымын оқып, 8-биттік SDR-ді HDR headroom-ға жаяды әрі түс бойынша ауытқымауға тырысады.
Айырмашылық қағидатты. Генеративті апскейл детальді ойлап табады және оны қате ойлап табуы мүмкін — бет «жүзеді», текстура пластикке айналады. Ruby кадрдың мазмұнымен мүлде жұмыс істемеуі тиіс, сондықтан қатесі де басқаша: «қате нәрсе салды» емес, «бұл аймақ жарықтық бойынша қайда кетуі керегін дұрыс бағаламады».
Ол 16 бит — мүлде басқа 16 бит
Дәл осы жерде байыппен қарау керек. Анонстағы «up to 16-bit HDR» ең алдымен EXR-шығысқа қатысты, ал Runway-дің EXR-і — half-float: арнаға 16-биттік жылжымалы нүктелі сан, 65 536 біркелкі бүтін деңгей емес.
Float16 — бұл таңба, 5 бит экспонента және 10 бит мантисса. Ол жарықтық бойынша орасан ауқым береді әрі сигналдың кез келген деңгейінде салыстырмалы дәлдігі шамамен тұрақты, сол себепті композ бен грейдингте бұл дұрыс формат. Бірақ мұндағы «16 бит» — санның қалай жазылатыны туралы, өлшенген ақпараттың көлемі туралы емес.
Ал дереккөзде ақпарат 8-биттік SDR-де қанша болса, дәл сонша. HDR-шығыста одан артық болып шыққанның бәрін модель құрастырған. Ruby күйіп кеткен жарықтарды қайтармайды: егер аспан бастапқы файлда 255-ке кетіп, жалпақ ақ түске айналса, ешқандай inverse tone mapping онда бұлт па, күн бе екенін білмейді. Ол тек сол аймақты нанымды түрде жоғарырақ көтеруді біледі.
Осыдан модельге қойылатын басты практикалық сұрақ туады: қаншалықты нанымды.
Шығыстағы төрт формат
Ruby төрт профиль береді, олар пайплайнның әртүрлі ұштарын жабады:
hdr_exr_sequence— half-float OpenEXR кадрларының тізбегі бар zip. Ішінде display light күйіндегі сызықтық BT.2020, «1.0 = 100 нит» шкаласымен, қасындаcolorimetry.jsonжәнеprovenance.jsonсайдкарлары (соңғысы файлдың апконверт екенін тікелей жариялайды), дереккөзде дыбыс болса —audio.wav. Бұл — мастерингті өзің жасайтын Nuke, Fusion және Resolve нұсқасы.hdr_prores— ProRes .mov, BT.2020 + PQ, деңгейі таңдамалы:422,422 HQ(әдепкі) немесе4444. Кез келген монтаж бағдарламасы дауласпай қабылдайтын классикалық editorial mezzanine.hdr10— HEVC Main 10, BT.2020 + PQ, .mp4. Әдепкі профиль және HDR-теледидар мен YouTube үшін дерлік дайын delivery-файл.hlg— сол HEVC Main 10, бірақ HLG-қисығымен. Бұл — SDR-қабылдағышпен кері үйлесімділік маңызды broadcast үшін.
Файлды апконверт деп белгілейтін provenance.json — ұсақ, бірақ дұрыс нәрсе: жарты жылдан кейін HDR-мастер қайдан шыққанын ешкім есіне түсірмейді, ал метадеректер түсіреді.
Енді уәде етілген құжаттама нюансы. Анонс «10 және 12-биттік ProRes пен HEVC» дейді, бірақ API-схемада екі HEVC-профилі де Main 10, яғни қатаң 10 бит. Он екі бит бұл жиынтықта тек бір жерде тұр: ProRes 4444. Демек, «12-bit» — бұл нақты бір экспорт-профильдің шегі, модельдің сипаттамасы емес.
Релиздің күшті жағы дәл осында: Ruby тек «технарьларға арналған EXR» ғана емес, бірден практикалық master- және delivery-форматтарды береді. Генеративті видеомодельдерде шығыс әдетте 8-биттік mp4-пен бітеді, ал одан кейінгінің бәрі — сенің мәселең.
Шектеулер мен баға
API-схема бойынша кіріс — ұзақтығы 30 секундтан аспайтын SDR-ролик, дәл сол шектеу интерфейс анонсында да болды. Эндпоинт схемасында ажыратымдылық шектеуі жоқ: апконверт дереккөздің өз ажыратымдылығымен беріледі, ал тарификация кадр өлшеміне тәуелді.
Ruby шығыстың секундына 20 кредит тұрады, ал дереккөз 4 мегапиксельден (шамамен 4K) үлкен болса — секундына 40 кредит. Әзірлеуші порталында бір кредит $0,01, яғни 30 секундтық ролик $6-ға, сол ролик 4K-да $12-ге түседі.
Бұл сан салыстырғанда қызықтырақ көрінеді. Gen-4.5-те видеоның бір секундын генерациялау 12 кредит, Aleph 2-де — 28. Шығатыны: дайын роликті HDR-ге аудару оны генерациялаудан қымбат — 20-ға қарсы 12. Формальді түрде түсінікті: әр кадрды модельдік емес, бастапқы ажыратымдылықта есептеу керек. Бірақ бұл «генерация қымбат, постөңдеу арзан» деген әдеттегі иерархияны бұзады, ал роликтер сериясының сметасында мұндай көбейткіш байқалады.
Кіріске API-дің жалпы шектеулері әрекет етеді: сілтеме бойынша файлға 32 МБ, data URI-ге 16 МБ және Runway арқылы жүктеуге 200 МБ.
Алғашқы пікірлер: әзірге деректер емес, әсер
Мазмұнды теріс пікір де шықты: бір қолданушы алынған EXR-де әлі де байқалатын бэндингті көретінін, ал көлеңкелер мен жарықтарда күтілген ақпарат көлемі пайда болмайтынын жазады — оның әсері бойынша бұл 16-биттік материалды қалпына келтіруден гөрі ауқымды сапалы кеңейтуге көбірек ұқсайды.
Егер бұл расталса, қорытынды қызық. Half-float EXR-дегі бэндинг контейнердің өзін кванттау артефактісі бола алмайды — float16 дәлдігі артығымен жетеді. Демек, жолақтар дереккөзден келеді: бұл — үлкенірек ауқымға созылған сол 8-биттік баспалдақтар. Шкала кеңейді, деңгейлер арасындағы аралық толтырылмады.
Ескертейін: бұл — бір пікір және оның механикасы туралы менің пайымым, тест нәтижесі емес. Дұрыс A/B-ны әлі ешкім жарияламады. Reddit-те Ruby талқысы жаңа ғана басталды және онда негізінен бір нәрсе сұралады: оны Topaz-бен кім салыстырып үлгерді.
Бұл нені өзгертеді
Ruby-дің тікелей бәсекелесі бар — Topaz Hyperion 2.5, ол дәл сол жұмысты істейді: Rec.709-дан BT.2100 PQ-ға inverse tone mapping, шығыста 10-биттік ProRes және 16-биттік float EXR. Topaz бұл ретте «ештеңе генерацияламайды және ажыратымдылық қоспайды» деп ашық жазады әрі айына $9-дан басталатын жазылыммен сатылады.
Айырмашылық тапсырмада емес, оның қай жерде тұрғанында. Topaz — пайплайнның соңындағы десктоп утилита: бір жерде генерациялайсың, жүктеп аласың, өткізесің. Ruby Runway ішінде тұрады, генерация нәтижесін тікелей қабылдайды және бір API-шақырумен іске қосылады. Конвейер құрастыратын студия үшін бұл суреттің сапасын емес, генерация мен мастер арасындағы қадамдар мен адамдардың санын өзгертеді.
Екінші ығысуды байқамай қалу оңайырақ. Осы уақытқа дейін AI-видео 8 битте өмір сүрді әрі әдепкіде веб үшін контент саналды. ProRes 4444 пен EXR-дегі штаттық шығыс монтаждаушымен әңгімені өзгертеді: бұл енді «нейрожелілік ролик» емес, кез келген кәсіби пайплайн қабылдайтын форматтағы бастапқы файл. Сапасын бәрібір референстік мониторда көзбен қарау керек болады — бірақ бұрын қарайтын ештеңе жоқ еді.
Айтпақшы, мұны бөгде жарияланымдар бойынша тексеру мүмкін емес: сен оқып отырған блог беті SDR-де беріледі, ал мұндағы кез келген «HDR-мысал» кері тонмапталған суретке айналады. Ruby-ды тек өз материалыңда және өз мониторыңда бағалаған жөн.
Runway-ды қайдан көруге болады
Ruby GPTunneL каталогында әзірге жоқ. Бірақ тапсырманы дұрыс деп санаймыз: SDR → HDR-ді воркфлоуға жеке қадам ретінде қосуды жоспарлап отырмыз — ролик холстта әйтеуір генерацияланып жатқан жерде HDR-ге түрлендіру келесі блок болып қисынды түрде тұрады, файлды бөгде утилитаға шығармай-ақ.
Runway-дан дәл қазір қолжетімдісі:
- Runway 4.5 — генерацияның қазіргі буыны, ролик секундына 130 ₸;
- Runway Aleph 2 — дайын видеоны өңдеу, секундына 250 ₸;
- Runway Act-Two — актёр ойынын кейіпкерге көшіру, секундына 50 ₸.
Жазылым қажет емес, дайын видеоның секундтары үшін төлейсің; өз ұзақтығың бойынша нақты есеп — бағалар бетіндегі калькуляторда.
Runway Ruby туралы жиі қойылатын сұрақтар
Ruby видео генерациялай ма? Жоқ. Бұл — грейдинг моделі: дайын SDR-роликті қабылдап, бастапқы пиксельдер мен дыбысты сақтай отырып, оның жарықтық ауқымын HDR-ге кеңейтеді.
Роликтің ең ұзақ ұзақтығы қандай? API схемасы бойынша 30 секунд. Ажыратымдылық шектелмеген — шығыс дереккөздің ажыратымдылығымен беріледі, бірақ 4 мегапиксельден жоғары тариф екі есе артады.
Шығыста шынымен 16 бит пе? EXR-де — иә, бірақ бұл half-float: арнаға 16-биттік жылжымалы нүктелі сан, 65 536 бүтін деңгей емес. Әрі бұл биттердегі ақпаратты камера өлшеген жоқ, модель құрастырған.
Ruby Topaz Hyperion-нан несімен ерекшеленеді? Тапсырма бірдей — inverse tone mapping. Айырмашылық орналасуында: Topaz — жазылыммен жұмыс істейтін десктоп қосымша, Ruby — генерация нәтижесін файл шығармай қабылдайтын, Runway ішіндегі API-эндпоинт.
GPTunneL-де Ruby бар ма? Әзірге жоқ: старт кезінде модель тек Runway-дің Max және Enterprise тарифтерінде ашық. SDR → HDR қадамын воркфлоуға қосуды жоспарлаймыз, ал Runway 4.5-те генерация мен Aleph 2-де өңдеу зертханада бүгін де қолжетімді.
Ruby-ды анонстағы «16-bit» сөзімен емес, генерациядан шыққандағы қолмен жасалатын грейдтен құтқаратынымен өлшеген жөн. Күйіп кеткен жарықтардың қайтуын күтудің қажеті жоқ, ал Topaz-бен адал A/B-ны талап еткен жөн — ерте ме, кеш пе, ол шығады.
Жаңа модельдер бізде API ашылған күні қосылады. Блогты қадағалап отыр.