Midjourney и DALL-E, подвиньтесь: Google создал Transframer — генеративную нейросеть, способную генерировать короткие видео по единственному изображению

Команда Google объявила о создании Transframer – новой программы, способной генерировать короткие видеоролики на основе отдельных изображений.

Помогаем

Читатели собрали $180 тыс. на истребитель для ВСУ за 10 дней (нужно еще $2,5 млн). Они помогают сбивать российские ракеты

Эта технология дополнит традиционные решения для рендеринга, позволяя разработчикам создавать виртуальные среды на основе возможностей машинного обучения.

Программа была названа в честь другой модели на основе искусственного интеллекта, известной как Transformer. Transformer – это новая архитектура нейронной сети, способная генерировать текст путем моделирования и сравнения других слов в предложении. Модель была создана в 2017 году и с тех пор использовалась в стандартных средах глубокого обучения, таких как TensorFlow и PyTorch.

Так же, как Transformer использует язык для прогнозирования потенциальных результатов, Transframer использует изображение в сочетании с описанием запроса для создания коротких видео. Для работы Transframer использует платформу искусственного интеллекта Google DeepMind.

Технология анализирует одно изображение для получения ключевых фрагментов и создания дополнительных изображений. Затем контекстные изображения используются для дальнейшего прогнозирования того, как изображение будет выглядеть под разными углами.

Кроме возможности создания видео на основе очень ограниченного набора данных, Transframer также хорошо проявил себя в других задачах и тестах, связанных с видео: семантической сегментации, классификации изображений и прогнозировании оптического потока.

Ранее сообщалось, что Google обновляет Поиск, чтобы эффективнее бороться с