Stable Cascade

Stable Cascade：一种高效的文本到图像扩散模型架构

Stable Cascade是由Stability AI开发的创新型文本到图像模型，它利用Würstchen架构来实现高效率和令人印象深刻的视觉效果。这个开源代码库提供了训练和推理脚本，以及适用于各种应用的模型。

什么是Stable Cascade？

Stable Cascade的独特之处在于其高度压缩的潜在空间，与Stable Diffusion等模型相比，能够实现更快的推理和更低廉的训练成本。通过采用42的压缩因子，Stable Cascade将1024x1024的图像编码成紧凑的24x24表示，同时保持清晰的重建效果。这种效率使其非常适合计算资源有限的场景。

Stable Cascade如何工作？

Stable Cascade包含三个关键模型：Stage A、Stage B和Stage C。Stage A和Stage B充当自动编码器，将图像压缩到较小的潜在空间。Stage C是一个扩散模型，它根据给定的文本提示生成24x24的潜在图像。这种级联方法可以实现高效且高质量的图像生成。

• Stage A： 用于初始压缩的VAE（变分自动编码器）。
• Stage B： 用于进一步压缩的扩散模型。
• Stage C： 用于生成潜在图像的文本条件扩散模型。

主要特性和优势

• 效率： 较小的潜在空间可实现更快的推理速度并降低训练成本。
• 高压缩： 实现42的压缩因子，将1024x1024的图像编码为24x24。
• 可扩展性： 支持微调、LoRA、ControlNet和IP-Adapter。
• 令人印象深刻的结果： 提供出色的提示对齐和美学质量。

模型概述

该版本包括每个阶段的多个检查点：

• Stage C： 10亿和36亿参数版本（建议使用36亿）。
• Stage B： 7亿和15亿参数版本（建议使用15亿以获得更精细的细节）。
• Stage A： 固定2000万参数版本。

Stable Cascade入门

推理：

使用inference部分中提供的notebook来了解各种用例：

• 文本到图像： 用于文本到图像生成、图像变异和图像到图像任务的基本功能。
• ControlNet： 与ControlNet集成，以实现对图像生成的更高级控制（Inpainting，人脸识别，Canny，超分辨率）。
• LoRA： 用于训练和使用LoRA来微调Stage C并添加新tokens的实现。
• 图像重建： 将Stage A和B用作（扩散）自动编码器，受益于更高的压缩率，使您可以更快地训练和运行模型。

训练：

从头开始训练Stable Cascade，微调以及训练ControlNet和LoRA的代码和说明可在training文件夹中找到。

用例

• 文本到图像生成： 从文本描述创建图像。
• 图像变异： 生成现有图像的变体。
• 图像到图像转换： 根据文本提示修改图像。
• ControlNet集成： 使用各种ControlNet控制图像生成。
• 自定义： 使用LoRA和自定义数据集微调模型。
• 高效的AI研究： 使用高度压缩的潜在空间来更快地训练您自己的模型。

Stable Cascade适合谁？

Stable Cascade适用于：

• 寻求高效文本到图像模型的AI研究人员。
• 构建需要快速图像生成的应用程序的开发人员。
• 探索AI辅助创造力的艺术家和设计师。
• 任何对潜在扩散模型的最新进展感兴趣的人。

为什么选择Stable Cascade？

• 效率： 由于高度压缩的潜在空间，推理速度更快，训练成本更低。
• 可扩展性： 支持各种扩展和自定义选项。
• 最先进的性能： 提供出色的视觉质量和提示对齐。
• 开源： 免费提供且可自定义的代码库。

带有图像的用例示例

• 文本到图像： 生成一张拟人化企鹅在咖啡馆里看书的电影照片。
• 图像变异： 在没有提示的情况下创建给定图像的变体。
• 图像到图像： 对图像进行噪点处理，并根据文本提示重新生成。

技术细节

Stable Cascade实现了1024 / 24 = 42.67的空间压缩因子，从而可以高效地编码和解码图像，并最大程度地减少细节损失。

社区和贡献

该代码库正在积极开发中，欢迎贡献。分享您的想法、反馈和更新，以帮助改进Stable Cascade。

许可证

该代码根据MIT许可证获得许可，而模型权重根据STABILITY AI NON-COMMERCIAL RESEARCH COMMUNITY LICENSE获得许可。

立即开始

浏览官方Stable Cascade代码库，并通过高效的文本到图像生成释放您的创造力！