sd3.5

穩定擴散3.5

SD3.5 和 SD3 的僅推理微型參考實作 - 使用 SD3.5/SD3 進行簡單推理所需的一切，不包括權重檔案。

包含文字編碼器的程式碼（OpenAI CLIP-L/14、OpenCLIP bigG、Google T5-XXL）（這些模型都是公共的）、VAE 解碼器（類似於先前的SD 模型，但有16 個通道且沒有postquantconv步驟），以及核心 MM-DiT（全新）。

注意：此儲存庫是一個參考庫，旨在幫助合作夥伴組織實施 SD3.5/SD3。對於替代推理，請使用 Comfy。

更新

• 2024 年 10 月 29 日：發布了 SD3.5-Medium 的推理代碼。
• 2024 年 10 月 24 日：將代碼許可證更新為 MIT 許可證。
• 2024 年 10 月 22 日：發布了 SD3.5-Large、Large-Turbo 的推理代碼。也適用於 SD3-Medium。

下載

從 HuggingFace 下載以下型號到models目錄：

1. 穩定AI SD3.5大型或穩定AI SD3.5大型渦輪或穩定AI SD3.5中型
2. OpenAI CLIP-L
3. OpenCLIP bigG
4. Google T5-XXL

此代碼也適用於 Stability AI SD3 Medium。

安裝

 # Note: on windows use "python" not "python3"
python3 -s -m venv .sd3.5
source .sd3.5/bin/activate
# or on windows: venv/scripts/activate
python3 -s -m pip install -r requirements.txt

跑步

 # Generate a cat using SD3.5 Large model (at models/sd3.5_large.safetensors) with its default settings
python3 sd3_infer.py --prompt " cute wallpaper art of a cat "
# Or use a text file with a list of prompts, using SD3.5 Large
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_large.safetensors
# Generate from prompt file using SD3.5 Large Turbo with its default settings
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_large_turbo.safetensors
# Generate from prompt file using SD3.5 Medium with its default settings, at 2k resolution
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_medium.safetensors --width 1920 --height 1080
# Generate from prompt file using SD3 Medium with its default settings
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3_medium.safetensors

預設情況下，影像將輸出到outputs/<MODEL>/<PROMPT>_<DATETIME>_<POSTFIX> 。若要將後綴加入輸出目錄，請新增--postfix <my_postfix> 。例如，

python3 sd3_infer.py --prompt path/to/my_prompts.txt --postfix " steps100 " --steps 100

若要變更生成影像的分辨率，請新增--width <WIDTH> --height <HEIGHT> 。

（可選）使用“跳過層指導”，可以從 SD3.5-Medium 獲得更好的結構和解剖一致性。

python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_medium.safetensors --skip_layer_cfg True

文件指南

• sd3_infer.py - 入口點，查看擴散模型的基本用法
• sd3_impls.py - 包含 MMDiTX 和 VAE 的包裝器
• other_impls.py - 包含 CLIP 模型、T5 模型和一些實用程序
• mmditx.py - 包含 MMDiT-X 本身的核心
• 資料夾models包含以下檔案（單獨下載）：
  • clip_l.safetensors （OpenAI CLIP-L，與SDXL/SD3相同，可取得公開副本）
  • clip_g.safetensors （openclip bigG，與SDXL/SD3相同，可以取得公共副本）
  • t5xxl.safetensors （google T5-v1.1-XXL，可取得公開副本）
  • sd3.5_large.safetensors或sd3.5_large_turbo.safetensors或sd3.5_medium.safetensors （或sd3_medium.safetensors ）

程式碼來源

這裡包含的程式碼源自：

• Stability AI內部研究程式碼庫（MM-DiT）
• 公共穩定人工智慧儲存庫（例如 VAE）
• Alex Goodwin 和 Vikram Voleti 為 Stability AI 編寫的此參考儲存庫的一些獨特程式碼
• 來自 ComfyUI SD3 內部穩定性實現的一些程式碼（用於某些程式碼修正和處理程序）
• HuggingFace 和上游提供者（用於 CLIP/T5 程式碼部分）

合法的

檢查許可證代碼檔案。

筆記

other_impls中的一些程式碼源自 HuggingFace，並受 HuggingFace Transformers Apache2 授權的約束