За последние десять лет достижения в области искусственного интеллекта и машинного обучения развивались с невероятной скоростью. Кажется, что никто из нас не может оторваться, чтобы не пропустить следующий великий прорыв. Но сейчас, перед тем, как Интернет перевалит через вершину волшебных приложений ИИ для генерации изображений, уже появилась новая «великая вещь».
Какие достижения в области машинного обучения привлекают внимание мирового сообщества?
Представляю вам удивительное открытие: теперь мы можем создавать видео с помощью искусственного интеллекта. В конце сентября компания Meta* (запрещенная и признанная экстремистской в РФ) представила инструмент Make-A-Video, основанный на новейшей технологии генерации текста в видео с использованием искусственного интеллекта. А всего через несколько дней Google выпустила две выдающиеся модели видеогенераторов — Imagen Video и Phenaki, которые значительно превосходят популярные генераторы изображений ИИ, недавно завладевшие вашими лентами в Twitter. Эти новости даже застали экспертов по искусственному интеллекту врасплох, они назвали это «более ранним, чем ожидалось, моментом Dall-E для генерации текста в видео».
Как устроена генерация видео из текста?
Ответ на данный вопрос довольно прост: генерация видео с помощью искусственного интеллекта является развитием технологии, которая питала генераторы изображений ИИ. Чтобы понять, как это работает, нужно рассмотреть связь между изображениями и видео. Изображение представляет собой один кадр, а при объединении с другими изображениями создается видео. Это позволяет понять, как генерация изображений может служить основой для генерации видео. Компании используют разные модели искусственного интеллекта, но их основная идея одна: нейронная сеть преобразует текстовую информацию в визуальную и объединяет их с реальными знаниями о движении и поведении. Искусственный интеллект может генерировать видео, основываясь на основных понятиях, таких как «автомобиль» и «панда», и понимая, что для управления автомобилем нужен водитель. Хотя для нас, людей, понимание таких логических понятий может показаться простым, для машин это сложная задача. Особенно сложно концептуализировать объекты в 3D-форме, над чем исследователи искусственного интеллекта долго работали. Проблема окклюзии, то есть объектов, скрывающихся за другими объектами, является сложной задачей, с которой машины постоянно сталкиваются. К счастью, благодаря прорывам в машинном обучении, многие из этих проблем теперь решены, что приводит к более точным изображениям и видео, создаваемым искусственным интеллектом.
Какие видео можно создавать?
Разрешение
Согласно официальным исследованиям, Google Imagen Video заслуживает приз за свое высокое разрешение. Они создают видео высокой четкости с помощью своих передовых моделей размером 1280×768 пикселей. В сравнении с этим, Make-A-Video имеет разрешение 768×768 пикселей, что является значительным прогрессом в качестве видео, но все же достаточно хорошим, чтобы считаться высоким разрешением.
Длительность
Если говорить о продолжительности, Фенаки от Google безусловно выигрывает. Видео, представленные на веб-сайте Phenaki, имеют длительность 2,5 минуты, хотя исследователи утверждают, что он способен создавать «произвольные длинные видео, основанные на последовательности подсказок». В свою очередь, Imagen Video отдает предпочтение разрешению, обменивая продолжительность видео на качество. Его видео имеют длительность 5,3 секунды при скорости 24 кадра в секунду.
Тип ввода
Видеогенераторы искусственного интеллекта различаются по своим характеристикам и возможностям в зависимости от модели. Они способны обрабатывать разные типы входных данных, что обуславливает их разнообразие.
Вот список возможных входных данных, которые можно использовать для создания видео с помощью видеогенератора:
- текстовые подсказки, которые могут быть как несколькими словами, так и последовательностью предложений;
- одно изображение, которое может быть анимировано и использовано в видео;
- пара изображений, между которыми видеогенератор заполнит пробелы;
- и, наконец, видео, которое может быть использовано как входное видео для создания нового видео.
Важно отметить, что эта область технологий развивается очень быстро, и информация в данной статье может стать устаревшей уже через несколько недель. Поэтому рекомендуется следить за новыми исследованиями и достижениями в этой области.
Контент
В последние годы короткие видеоролики стали очень популярными благодаря платформам, таким как TikTok. Этот формат контента стал предпочтительным для многих пользователей Интернета. Большие социальные сети и YouTube, не остались в стороне и также начали предлагать короткие видеоролики своим пользователям. Они настроили свои алгоритмы, чтобы показывать короткий видеоконтент. Однако создание видео — это сложный и дорогостоящий процесс. Особенно для начинающих создателей, у которых нет достаточно времени и опыта для съемки и редактирования коротких видеороликов. В результате, на рынке преобладают большие компании, а независимые создатели оказываются в невыгодном положении.
Однако, благодаря технологии искусственного интеллекта, это может измениться. Теперь есть возможность преобразовывать текст в видео, что сокращает процесс создания видео до одного этапа — написания. Больше не нужны специальные навыки редактирования и сшивания видео или аудио. Теперь создатели могут сосредоточиться на своей творческой энергии и идеях, не беспокоясь о сложностях создания анимации.
Кстати, написание сценария для видео – сегодня это уже рядовая задача для ИИ. С помощью ИИ-копирайтеров можно за несколько минут получить отличный сценарий для короткого ролика или полноценного видео. Регистрируйтесь на airuco и используйте шаблон «Сценарий для видео» или чат с ИИ-сценаристом, чтобы создать захватывающий сценарий для своих роликов.
Так что давайте попрощаемся с ненужным стрессом и наслаждаемся процессом создания видео!
Исходя из вышесказанного, могу сказать, что на данный момент рано делать выводы о будущем технологии преобразования текста в видео. Несмотря на многообещающие результаты, продолжают существовать опасения относительно искажений встроенных данных. Вероятно, искусственному интеллекту, управляющему видеогенераторами, потребуется еще несколько лет, чтобы оказать ощутимое влияние на наш образ жизни. Генерация изображений с помощью искусственного интеллекта, хотя и является относительно новым инструментом в данной сфере, все еще ищет свое место на рынке создания контента и за его пределами.
