Sora: Новая AI-модель от OpenAI для создания видео из текста

OpenAI представила Sora, новую генеративную AI-модель, способную создавать видео по текстовым запросам. Sora использует диффузионную модель в сочетании с архитектурой Transformer, аналогичной технологии, лежащей в основе моделей GPT, для создания реалистичных и впечатляющих сцен. Она может обрабатывать сложные сценарии с множеством персонажей, определенными типами движения и точными деталями объектов и фона. Модель также способна анимировать неподвижные изображения, расширять существующие видео или заполнять недостающие кадры, создавая видеоролики продолжительностью до одной минуты в различных стилях, включая фотореалистичный, анимационный или черно-белый.

Несмотря на свои впечатляющие возможности, Sora в настоящее время имеет ограничения. Ей трудно точно имитировать физику сложных сцен, понимать причинно-следственные связи и поддерживать точные пространственные детали с течением времени. Например, персонаж может откусить печенье, но на печенье может не остаться следа от укуса, или модель может перепутать левое и правое направления в сцене.

OpenAI проявляет осторожность, прежде чем сделать Sora широко доступной. Они активно работают с «красными командами» (экспертами, которые тестируют системы на наличие недостатков), чтобы оценить потенциальный вред и риски, такие как создание дезинформации, контента, разжигающего ненависть, или предвзятости. Кроме того, разрабатываются классификаторы обнаружения для выявления вводящего в заблуждение контента, созданного Sora, и компания планирует в будущем включить метаданные C2PA, чтобы обеспечить происхождение видео, сгенерированных Sora.

В настоящее время Sora доступна ограниченной группе «красных команд» и избранному числу художников-визуалистов, дизайнеров и кинематографистов для сбора отзывов о том, как сделать модель наиболее полезной для творческих профессионалов. OpenAI взаимодействует с политиками, педагогами и художниками по всему миру, чтобы понять проблемы и определить положительные варианты использования этой технологии. Они подчеркивают, что обучение на основе реального использования имеет решающее значение для создания и выпуска все более безопасных AI-систем с течением времени.

Представление Sora следует модели OpenAI по быстрому развитию передовых генеративных AI-инструментов, включая ChatGPT для текста и DALL-E 3 для изображений. Sora знаменует собой значительный прогресс в возможностях AI для создания видеоконтента, еще больше ускоряя конкуренцию и инновации в этой быстро развивающейся области.