Новая нейросеть Genesis уже успела покорить интернет своими высококачественными анимациями — по ним даже не скажешь, что их сгенерировал ИИ. Рассказываем, что находится «под капотом» у этой нейросети, есть ли у неё аналоги и какие возможности она открывает.
Как работает нейросеть
Genesis превращает текстовые описания в реалистичные видео — по сути, это генератор живых сцен, где каждый кадр выглядит как снятый на камеру. Например, если написать «резиновый мячик ударяется о стену», то получите реалистичную сцену, где объекты взаимодействуют как в жизни. Это происходит благодаря двум компонентам:
🟡 Физический движок моделирует действие физических законов в виртуальной реальности так, как они бы работали в настоящем мире, то есть генерирует их материалы и физические свойства — именно это позволяет Genesis создавать видео такого высокого качества.
🟡 Генеративный фреймворк преобразует текстовые промты в сценарий видео: задаёт движение камеры, анимацию персонажей, даже аудиосопровождение. Так ИИ превращает обычное описание в полноценную короткометражку.
Почему технология стала возможной
Последний тренд в развитии нейросетей — это мультимодальность, то есть обучение моделей обработке разных видов данных. В результате появляются визуальные языковые модели (VLM), которые умеют работать с текстом, картинками и даже звуком одновременно — об этом Журналу Яндекс Образования рассказывал специалист по распознаванию рукописного текста Женя Карташев.
Именно эта технология лежит в основе Genesis. Благодаря VLM-подходу теперь можно создавать реалистичные видео и анимации только по текстовым описаниям. Более того, разработчики утверждают, что со временем Genesis сможет генерировать целые 4D-миры — то есть видео, в которых можно перемещаться и взаимодействовать с объектами, как в игре.
Для чего используется сейчас
Изначально нейросеть создавалась для обучения роботов, где требуются визуальные инструкции — короткие видео, имитирующие реальную среду. Но возможности Genesis быстро вышли за пределы этой сферы: теперь её применяют для создания симуляций, обучающих роликов и визуальных прототипов.
⭐ Genesis делает этот процесс максимально простым:
- Скорость: до 43 млн кадров в секунду — генерация видео происходит в 430 000 раз быстрее реального времени.
- Эффективность: время создания симуляции или видеоинструкции сокращается с десятков часов до нескольких минут.
👉 Узнать о других нейросетях для работы с визуалом можно здесь.
Какие перспективы это открывает
Создание контента с помощью ИИ уже перестаёт быть экспериментом — это становится инструментом для разных сфер:
1️⃣ Киноиндустрия. В 2023 году вышел первый трейлер фильма Genesis, созданный при помощи нейросетей. Для этого его автор, Николас Нойберт, использовал Midjourney и Runway для генерации сцен и визуальных эффектов, а бюджет составил всего 125 $.
2️⃣ Медицинские исследования. Американская технологическая компания Nvidia, которая в том числе участвовала в разработке Genesis, в конце 2024 года увеличила свои инвестиции в ИИ-стартап по созданию лекарств. Они используют нейросети для 3D-моделирования молекулярной структуры препаратов.
3️⃣ Системы безопасности. Нейросети, подобные Animate 3D, могут распознавать движения объектов на видео — за счёт чего они и генерируют анимацию. В дальнейшем эту технологию можно использовать, например, для отслеживания передвижений с помощью видеокамер или для анализа видеозаписей. Это поможет службам безопасности быстрее реагировать на подозрительные действия, выявлять нарушения и предотвращать опасные ситуации. Также эта способность ИИ может пригодиться при изучении живых существ и их поведения.
Хотите узнать больше?
В Журнале Яндекс Образования собраны статьи о самых ярких ИИ-трендах — от визуальных моделей до генерации 3D-миров. Узнайте, как нейросети уже меняют творчество, науку и образование.
Листайте дальше, чтобы перейти в Журнал и прочитать другие статьи на похожую тематику.