Alibaba запустила новую модель ИИ для 3D-видео

Alibaba Group Holding Ltd. запустила новую модель искусственного интеллекта, которую можно использовать для разработки игр и создания видеороликов, имитирующих реальный мир. Таким образом компания расширяет свой ассортимент продуктов, чтобы составить конкуренцию Tencent Holdings Ltd.  в стремлении монетизировать эту технологию.

Китайская компания, занимающаяся электронной коммерцией, в четверг представила Happy Oyster. https://www.happyoyster.cn/docs

Happy Oyster — это продукт с открытой моделью мира для создания и взаимодействия с виртуальными мирами в режиме реального времени, создан на основе мультимодальной архитектуры, поддерживает мультимодальное понимание и совместную генерацию аудио- и видеоконтента.

В отличие от традиционных инструментов для создания видео с помощью искусственного интеллекта, которые работают по принципу «напиши запрос, дождись рендеринга, получи готовый ролик», Happy Oyster продолжает слушать и реагировать на протяжении всего процесса генерации. Сцена реагирует в режиме реального времени и продолжает развиваться по мере того, как пользователь дает указания.

Режиссура превращает пользователей в режиссеров в режиме реального времени, позволяя им воплощать идеи в жизнь в рамках бесконечно развивающегося видеопотока.

Happy Oyster генерирует не просто видеоряд, а динамичный физический мир, в котором освещение, гравитация, движение персонажей и причинно-следственные связи в сценах остаются непрерывными и согласованными во времени. Пользователи могут в любой момент вмешаться в этот мир, используя текст, голос или изображения, чтобы менять ракурс камеры, управлять персонажами или менять ход повествования. Мир мгновенно реагирует и продолжает развиваться в соответствии с этими указаниями.

Wandering