Stable Cascade

Stable Cascade : une architecture efficace pour les modèles de diffusion texte-image

Stable Cascade est un modèle texte-image innovant développé par Stability AI, qui tire parti de l’architecture Würstchen pour atteindre une efficacité élevée et des résultats visuels impressionnants. Cette base de code open source fournit des scripts d’entraînement et d’inférence, ainsi que divers modèles pour diverses applications.

Qu’est-ce que Stable Cascade ?

Stable Cascade se distingue par son espace latent hautement compressé, permettant une inférence plus rapide et une formation moins coûteuse par rapport aux modèles tels que Stable Diffusion. En utilisant un facteur de compression de 42, Stable Cascade encode une image de 1 024 x 1 024 dans une représentation compacte de 24 x 24 tout en conservant des reconstructions nettes. Cette efficacité le rend bien adapté aux scénarios où les ressources de calcul sont limitées.

Comment fonctionne Stable Cascade ?

Stable Cascade comprend trois modèles clés : Stage A, Stage B et Stage C. Les étapes A et B fonctionnent comme des auto-encodeurs, compressant les images dans un espace latent plus petit. Stage C, un modèle de diffusion, génère des images latentes de 24 x 24 à partir d’une invite de texte donnée. Cette approche en cascade permet une génération d’images efficace et de haute qualité.

• Stage A: VAE (Variational Autoencoder) pour la compression initiale.
• Stage B: modèle de diffusion pour une compression supplémentaire.
• Stage C: modèle de diffusion conditionnelle de texte pour générer des images latentes.

Principales caractéristiques et avantages

• Efficacité: un espace latent plus petit conduit à une inférence plus rapide et à une réduction des coûts de formation.
• Compression élevée: atteint un facteur de compression de 42, encodant les images de 1 024 x 1 024 à 24 x 24.
• Extensibilité: prend en charge le réglage fin, LoRA, ControlNet et IP-Adapter.
• Résultats impressionnants: offre un excellent alignement des invites et une qualité esthétique.

Aperçu du modèle

La version comprend plusieurs points de contrôle pour chaque étape :

• Stage C: versions de 1 milliard et de 3,6 milliards de paramètres (3,6 milliards recommandés).
• Stage B: versions de 700 millions et de 1,5 milliard de paramètres (1,5 milliard recommandé pour des détails plus fins).
• Stage A: version fixe de 20 millions de paramètres.

Démarrage avec Stable Cascade

Inférence:

Utilisez les blocs-notes fournis dans la section inference pour divers cas d’utilisation :

• Texte-image: fonctionnalité de base pour la génération de texte-image, la variation d’image et les tâches d’image à image.
• ControlNet: intégration avec ControlNets pour un contrôle avancé de la génération d’images (Inpainting, Face Identity, Canny, Super Resolution).
• LoRA: implémentation pour l’entraînement et l’utilisation de LoRA afin d’affiner Stage C et d’ajouter de nouveaux jetons.
• Reconstruction d’image: utilisez Stage A et B comme auto-encodeurs (de diffusion), bénéficiant d’une compression beaucoup plus élevée, ce qui vous permet de former et d’exécuter des modèles plus rapidement.

Formation:

Le code et les explications pour l’entraînement de Stable Cascade à partir de zéro, le réglage fin et l’entraînement de ControlNets et LoRA sont disponibles dans le dossier training.

Cas d’utilisation

• Génération de texte-image: créez des images à partir de descriptions textuelles.
• Variation d’image: générez des variations d’images existantes.
• Traduction image-image: modifiez les images en fonction des invites de texte.
• Intégration de ControlNet: contrôlez la génération d’images à l’aide de différents ControlNets.
• Personnalisation: affinez le modèle avec LoRA et des ensembles de données personnalisés.
• Recherche efficace en AI: utilisez l’espace latent hautement compressé pour former vos propres modèles plus rapidement.

À qui s’adresse Stable Cascade ?

Stable Cascade est adapté pour :

• Les chercheurs en AI à la recherche de modèles texte-image efficaces.
• Les développeurs créant des applications qui nécessitent une génération d’images rapide.
• Les artistes et designers explorant la créativité assistée par AI.
• Toute personne intéressée par les dernières avancées en matière de modèles de diffusion latente.

Pourquoi choisir Stable Cascade ?

• Efficacité: inférence plus rapide et formation moins coûteuse en raison de l’espace latent hautement compressé.
• Extensibilité: prend en charge diverses extensions et options de personnalisation.
• Performances de pointe: offre une excellente qualité visuelle et un alignement des invites.
• Open Source: base de code librement disponible et personnalisable.

Exemples de cas d’utilisation avec des images

• Texte-image: générez une photo cinématographique d’un pingouin anthropomorphe dans un café en train de lire un livre.
• Variation d’image: créez des variations d’une image donnée sans invite.
• Image à image: bruitez une image et régénérez-la en fonction d’une invite de texte.

Détails techniques

Stable Cascade atteint un facteur de compression spatiale de 1 024 / 24 = 42,67, ce qui permet un encodage et un décodage efficaces des images avec une perte minimale de détails.

Communauté et contributions

La base de code est en développement actif et les contributions sont les bienvenues. Partagez vos idées, vos commentaires et vos mises à jour pour aider à améliorer Stable Cascade.

Licence

Le code est concédé sous licence MIT, tandis que les poids du modèle sont soumis à la LICENCE DE COMMUNAUTÉ DE RECHERCHE NON COMMERCIALE DE STABILITY AI.

Démarrez dès aujourd’hui

Explorez la base de code officielle de Stable Cascade et libérez votre créativité grâce à la génération efficace de texte-image !