Скоро каждый сможет снять свой «Аватар»: ИИ превращает любительские ролики в художественные фильмы

Стартап в области генеративного искусственного интеллекта Runway выпустил систему генерации видео под названием Gen-1, которая может преобразовывать существующие клипы в соответствии с любым стилем, заданным текстовой подсказкой или эталонным изображением.

В демонстрационном ролике Runway показывает, как его программное обеспечение может превратить людей на улице в глиняных кукол, а сложенные на столе книги — в ночной город.

«Мы наблюдаем „большой взрыв“ в моделях генерации изображений, — говорит генеральный директор и соучредитель Runway Кристобаль Валенсуэла. — Я искренне верю, что 2023 год станет годом видео».

Компания Runway, основанная в 2018 году, уже несколько лет разрабатывает программное обеспечение для редактирования видео на основе искусственного интеллекта. Ее инструментами пользуются тиктокеры и ютьюберы, а также ведущие кино- и телестудии. Например, создатели «Позднего шоу со Стивеном Колбертом» использовали программное обеспечение Runway для редактирования графики, а в фильме «Все и сразу» технологии компании применялись для создания некоторых сцен.

Gen-1 стала одной из моделей преобразования текста в видео, представленных в конце прошлого года, включая Make-a-Video от Meta (в России компания включена в перечень организаций, причастных к терроризму и экстремизму, ее деятельность запрещена) и Phenaki от Google, которые могут генерировать очень короткие видеоклипы с нуля. Gen-1 также похожа на Dreamix — представленный на прошлой неделе генеративный ИИ от Google, который может создавать новые видео из существующих, применяя заданные стили. Но, судя по демонстрационному ролику Runway, Gen-1 — это шаг вперед в качестве видео. Данная модель не только преобразует существующие кадры, но и может создавать гораздо более длинные ролики, чем большинство предыдущих моделей.

Кроме того, в Gen-1 уже учтены пожелания клиентов. «Это одна из первых моделей, которая была разработана в тесном сотрудничестве с сообществом видеомейкеров, — говорит Валенсуэла. — Она создана с учетом многолетних знаний о том, как режиссеры и VFX-редакторы на самом деле работают на постпродакшне».

Пока Gen-1 тестируется несколькими приглашенными пользователями, а через несколько недель ее смогут опробовать те, кто подал заявки и находится в списке ожидания.

Прошлогодний бум в области генеративного ИИ был вызван тем, что миллионы людей впервые получили мощные инструменты для творчества — и делились результатами. Валенсуэла надеется, что передача Gen-1 в руки творческих профессионалов вскоре окажет такое же влияние на видео. «Мы очень близки к тому, чтобы создавать полноценные полнометражные фильмы», — говорит он. По мнению Валенсуэлы, в скором времени большая часть контента в интернете будет сгенерирована при помощи ИИ.

Источник — MIT Technology Review