Google разработала две нейросети для генерации видео по текстовому описанию: Imagen Video (для качественных коротких роликов) и Phenaki (для длинных клипов с ограниченным разрешением)

На данный момент Google сохраняет конфиденциальность систем, чтобы уменьшить вредоносные сценарии использования.

Помогаем

Собираем на дрон для штурмовиков Николаевской области. Он поможет найти и уничтожить врага

На прошлой неделе Meta поделилась новой моделью искусственного интеллекта, которая превращает текстовые подсказки в короткие, беззвучные видео. Но, как оказалось, Google тоже работает над похожим проектом и недавно выпустила целых 2 системы преобразования текста в видео при помощи ИИ: одна фокусируется на качестве изображения, а другая предназначена для создания более длинных клипов.

Excited to announce Imagen Video, our new text-conditioned video diffusion model that generates 1280×768 24fps HD videos! #ImagenVideohttps://t.co/JWj3L7MpBU Work w/ @wchan212 @Chitwan_Saharia @jaywhang_ @RuiqiGao @agritsenko @dpkingma @poolio @mo_norouzi @fleet_dj @TimSalimans pic.twitter.com/eN81LqZW7I

— Jonathan Ho (@hojonathanho) October 5, 2022

Как следует из названия, эта модель основана на методах, отточенных в более ранней системе преобразования текста в изображение Google Imagen, но предусматривает множество новых компонентов, которые превращают статические кадры в движение.

Как и в случае с моделью Meta Make-A-Video, конечные результаты одновременно невероятны и тревожны. Наиболее убедительно выглядят простые анимации, например, растения, образующие словосочетание «Imagen Video» или деревянная фигурка, движущаяся на серфе в космосе. Это потому, что мы не особо ожидаем, что такие кадры будут следовать строгим правилам временной и пространственной