Stable Cascade

Stable Cascade: テキストから画像への拡散モデルのための効率的なアーキテクチャ

Stable Cascadeは、Stability AIによって開発された革新的なテキストから画像へのモデルであり、Würstchenアーキテクチャを活用して、高い効率と印象的な視覚的結果を実現します。このオープンソースのコードベースは、トレーニングおよび推論スクリプトと、多様なアプリケーション向けのさまざまなモデルを提供します。

Stable Cascadeとは何ですか？

Stable Cascadeは、高度に圧縮された潜在空間によって、Stable Diffusionのようなモデルと比較して、より高速な推論とより安価なトレーニングを可能にすることで際立っています。42の圧縮率を使用することにより、Stable Cascadeは1024x1024の画像をコンパクトな24x24の表現にエンコードしながら、鮮明な再構成を維持します。この効率により、計算リソースが限られているシナリオに最適です。

Stable Cascadeはどのように機能しますか？

Stable Cascadeは、Stage A、Stage B、Stage Cの3つの主要なモデルで構成されています。Stage AとStage Bはオートエンコーダーとして機能し、画像をより小さな潜在空間に圧縮します。Stage Cは拡散モデルであり、与えられたテキストプロンプトから24x24の潜在画像を生成します。このカスケードアプローチにより、効率的で高品質な画像生成が可能です。

• Stage A: 初期圧縮のためのVAE（変分オートエンコーダー）。
• Stage B: さらなる圧縮のための拡散モデル。
• Stage C: 潜在画像を生成するためのテキスト条件付き拡散モデル。

主な機能と利点

• 効率： より小さな潜在空間は、より高速な推論と削減されたトレーニングコストにつながります。
• 高圧縮： 42の圧縮率を達成し、1024x1024の画像を24x24にエンコードします。
• 拡張性： ファインチューニング、LoRA、ControlNet、およびIP-Adapterをサポートします。
• 印象的な結果： 優れたプロンプトアライメントと美的品質を提供します。

モデルの概要

リリースには、各ステージの複数のチェックポイントが含まれています。

• Stage C: 10億および36億パラメーターバージョン（36億を推奨）。
• Stage B: 7億および15億パラメーターバージョン（より細かいディテールのために15億を推奨）。
• Stage A: 固定2000万パラメーターバージョン。

Stable Cascadeを始める

推論：

さまざまなユースケースについては、inferenceセクションで提供されているノートブックを使用してください。

• テキストから画像： テキストから画像への生成、画像のバリエーション、および画像から画像へのタスクの基本的な機能。
• ControlNet： 画像生成の高度な制御のためのControlNetとの統合（インペインティング、顔の識別、Canny、超解像度）。
• LoRA： Stage Cをファインチューニングし、新しいトークンを追加するためのLoRAのトレーニングと使用のための実装。
• 画像再構成： Stage A＆Bを（拡散）オートエンコーダーとして利用し、はるかに高い圧縮率の恩恵を受け、モデルをより迅速にトレーニングおよび実行できます。

トレーニング：

Stable Cascadeをゼロからトレーニング、ファインチューニング、およびControlNetとLoRAのトレーニングのためのコードと説明は、trainingフォルダーにあります。

ユースケース

• テキストから画像への生成： テキスト記述から画像を作成します。
• 画像のバリエーション： 既存の画像のバリエーションを生成します。
• 画像から画像への変換： テキストプロンプトに基づいて画像を修正します。
• ControlNetの統合： さまざまなControlNetを使用して画像生成を制御します。
• カスタマイズ： LoRAおよびカスタムデータセットを使用してモデルをファインチューニングします。
• 効率的なAI研究： 高度に圧縮された潜在空間を使用して、独自のモデルをより迅速にトレーニングします。

Stable Cascadeは誰のためですか？

Stable Cascadeは、以下に適しています。

• 効率的なテキストから画像へのモデルを求めるAI研究者。
• 高速な画像生成を必要とするアプリケーションを構築する開発者。
• AI支援の創造性を探求するアーティストやデザイナー。
• 潜在拡散モデルの最新の進歩に関心のある人。

Stable Cascadeを選ぶ理由

• 効率： 高度に圧縮された潜在空間により、より高速な推論とより安価なトレーニングが可能になります。
• 拡張性： さまざまな拡張機能とカスタマイズオプションをサポートします。
• 最先端のパフォーマンス： 優れた視覚品質とプロンプトアライメントを提供します。
• オープンソース： 自由に入手でき、カスタマイズ可能なコードベース。

画像を使用したユースケースの例

• テキストから画像： カフェで本を読んでいる擬人化されたペンギンの映画のような写真を生成します。
• 画像のバリエーション： プロンプトなしで、与えられた画像のバリエーションを作成します。
• 画像から画像： 画像にノイズを加えて、テキストプロンプトに基づいて再生成します。

技術的な詳細

Stable Cascadeは、1024 / 24 = 42.67の空間圧縮率を達成し、ディテールの損失を最小限に抑えながら、効率的な画像のエンコードとデコードを可能にします。

コミュニティと貢献

コードベースは活発に開発されており、貢献を歓迎します。Stable Cascadeの改善に役立つアイデア、フィードバック、および更新を共有してください。

ライセンス

コードはMITライセンスの下でライセンスされており、モデルの重みはSTABILITY AI NON-COMMERCIAL RESEARCH COMMUNITY LICENSEの下にあります。

今すぐ始めましょう

公式のStable Cascadeコードベースを探索し、効率的なテキストから画像への生成であなたの創造性を解き放ちましょう！