Anuncio de Stable Diffusion 3

Esta nueva iteración introduce varias mejoras y características clave diseñadas para optimizar el rendimiento del modelo, la calidad de la imagen y su capacidad para interpretar y ejecutar instrucciones complejas en comparación con sus predecesores como SDXL.

Nueva Arquitectura y Rendimiento Mejorado

Stable Diffusion 3 se basa en una novedosa arquitectura transformer de difusión, un cambio con respecto a las estructuras basadas principalmente en U-Net utilizadas en versiones anteriores. Esta nueva base, conceptualmente similar a las arquitecturas transformer que impulsan los grandes modelos lingüísticos, está diseñada para una mejor escalabilidad y, potencialmente, una comprensión más matizada de las instrucciones de texto. El rendimiento se ve aún más impulsado por la incorporación de la correspondencia de flujo durante el entrenamiento. Esta técnica puede conducir a tiempos de entrenamiento más rápidos, un muestreo más eficiente (generación de imágenes) y una calidad de salida general mejorada en comparación con los métodos de entrenamiento de difusión anteriores.

Amplia Gama de Modelos

Para satisfacer un amplio espectro de necesidades de usuario y capacidades de hardware, Stability AI anunció que Stable Diffusion 3 estará disponible en varios tamaños de modelo, que van desde 800 millones hasta 8 mil millones de parámetros. Esta escalabilidad permite a los usuarios seleccionar un modelo que se alinee mejor con sus prioridades, ya sea maximizar la fidelidad de la imagen u optimizar la eficiencia computacional.

Instrucciones Multi-Sujeto y Tipografía Mejoradas

Un avance destacado resaltado para Stable Diffusion 3 es su manejo significativamente mejorado de instrucciones que involucran múltiples sujetos. Su objetivo es generar imágenes que representen con precisión escenas complejas con varios elementos distintos según la instrucción. Además, el modelo cuenta con capacidades tipográficas drásticamente mejoradas, abordando una debilidad bien conocida de muchos modelos de texto a imagen anteriores. Esto permite una representación mucho más precisa y legible del texto especificado dentro de las imágenes generadas.

Seguridad y Accesibilidad

Stability AI enfatizó su compromiso con la implementación segura y responsable de la IA, afirmando que se estaban implementando numerosas medidas de seguridad desde el principio para prevenir el uso indebido de Stable Diffusion 3. En el momento del anuncio, el modelo se colocó en una fase de vista previa temprana, aún no disponible para el público general. La compañía también reafirmó su dedicación a democratizar el acceso a las tecnologías de IA generativa, declarando su intención de eventualmente poner los pesos del modelo a disposición pública para su descarga y uso local, continuando con la práctica establecida con versiones anteriores de Stable Diffusion, una vez que se completen las pruebas iniciales y las evaluaciones de seguridad.

Direcciones Futuras

Si bien el enfoque inicial de Stable Diffusion 3 está en la generación de texto a imagen, su arquitectura subyacente está diseñada con la extensibilidad futura en mente, lo que podría allanar el camino para la expansión a otras modalidades como la generación de activos 3D y la creación de vídeo. Esta versatilidad subraya la ambición de Stability AI de desarrollar un conjunto completo de modelos generativos capaces de servir a una amplia gama de aplicaciones creativas y comerciales.