Files
DiffSynth-Studio/docs/source/introduction/introduction.md
2024-11-05 05:38:15 -06:00

9.7 KiB
Raw Blame History

欢迎来到 Diffusion 的魔法世界

欢迎来到 Diffusion 的魔法世界,这里是 DiffSynth-Studio一个开源的 Diffusion 引擎,我们希望通过这样一个开源项目,构建统一、互联、创新的 Diffusion 模型生态!

统一

目前的开源 Diffusion 模型结构五花八门,以文生图模型为例,有 Stable Diffusion、Kolors、FLUX 等。

FLUX Stable Diffusion 3 Kolors Hunyuan-DiT Stable Diffusion Stable Diffusion XL
FLUX Stable Diffusion 3 Kolors Hunyuan-DiT Stable Diffusion Stable Diffusion XL
FLUX Stable Diffusion 3 Kolors Hunyuan-DiT Stable Diffusion Stable Diffusion XL
FLUX Stable Diffusion 3 Kolors Hunyuan-DiT Stable Diffusion Stable Diffusion XL
image_1024_cfg image_1024 image_1024 image_1024 1024 1024

我们设计了统一的框架,实现了通用的增强模块,例如提示词分区控制技术。

以及一站式的训练脚本。

FLUX.1-dev Kolors Stable Diffusion 3 Hunyuan-DiT
Without LoRA image_without_lora image_without_lora image_without_lora image_without_lora
With LoRA image_with_lora image_with_lora image_with_lora image_with_lora

互联

与语言模型不同Diffusion 模型存在生态模型,包括 LoRA、ControlNet、IP-Adapter 等,这些模型由不同的开发者开发、训练、开源,我们为这些模型提供了一站式的推理支持。例如基于 Stable Diffusion XL你可以随意使用这些相关的生态模型组装出丰富的功能。

底模生成 使用 ControlNet 保持画面结构重新生成 继续叠加 LoRA 使画面更扁平 叠加 IP-Adapter 转换为水墨风格

你甚至可以继续叠加 AnimateDiff 构建视频转绘方案。

创新

DiffSynth-Studio 集成了多个开源模型,这是属于开源社区的奇迹。我们致力于用强工程基础驱动算法上的创新,目前我们公开了多项创新性生成技术。