OpenAI Sora
Первая txt2video модель от OpenAI. Генерирует видео длиной до минуты по текстовому запросу или картинке. Способна генерировать консистентные сцены с разных ракурсов, имеет хорошее понимание мира.
Sora — это диффузионная модель, которая генерирует видео, начиная с изображения, похожего на статический шум, и постепенно преобразует его, удаляя шум на протяжении многих шагов.
Sora способна генерировать целые видео за один раз или расширять уже созданные видео, делая их длиннее. Давая модели на вход множество кадров за раз, мы решили сложную задачу обеспечения темпорального постоянства объекта, даже если он временно исчезает из виду.
Подобно моделям GPT, Sora использует архитектуру трансформера, что делает ее масштабируемой.
Мы представляем видео и изображения как совокупности меньших юнитов данных, называемых патчами, каждый из которых аналогичен токену в GPT. Объединяя подход к представлению данных, мы можем обучать диффузионные трансформеры на более широком спектре визуальных данных, чем это было возможно ранее, охватывая различные продолжительности, разрешения и соотношения сторон.
Sora основывается на предыдущих исследованиях моделей DALL·E и GPT. Она использует технику описания (captioning) из DALL·E 3, которая включает генерацию высококачественных описаний к визуальным тренировочным данным. В результате модель более точно следует текстовым инструкциям пользователя в сгенерированном видео.
Помимо возможности генерировать видео исключительно по текстовым инструкциям, модель может взять существующее изображение и создать из него видео, анимируя содержимое изображения с точностью и вниманием к мелким деталям. Модель также может взять существующее видео и расширить его или восстановить отсутствующие кадры. Узнать больше можно в нашем техническом докладе (который будет опубликован сегодня позднее).
Sora служит основой для моделей, способных понимать и имитировать реальный мир, что, по нашему мнению, будет важной вехой на пути к достижению AGI (искусственного общего интеллекта).
Архитектура, похожа на мультимодальный трансформер с diffusion энкодером/декодером.
Примеры видео
На 3:20 море краисвое
)