Unduhan sd3.5 - Unduhan kode sumber sd3.5

sd3.5

Kode sumber lainnya

Unduh

Difusi Stabil 3.5

Implementasi referensi kecil khusus inferensi pada SD3.5 dan SD3 - semua yang Anda perlukan untuk inferensi sederhana menggunakan SD3.5/SD3, tidak termasuk file bobot.

Berisi kode untuk encoder teks (OpenAI CLIP-L/14, OpenCLIP bigG, Google T5-XXL) (semua model ini bersifat publik), Decoder VAE (mirip dengan model SD sebelumnya, tetapi 16 saluran dan tidak ada langkah postquantconv), dan inti MM-DiT (benar-benar baru).

Catatan: repo ini adalah perpustakaan referensi yang dimaksudkan untuk membantu organisasi mitra dalam mengimplementasikan SD3.5/SD3. Untuk inferensi alternatif, gunakan Comfy.

Pembaruan

29 Okt 2024 : Merilis kode inferensi untuk SD3.5-Medium.
24 Okt 2024 : Lisensi kode diperbarui menjadi Lisensi MIT.
22 Okt 2024 : Merilis kode inferensi untuk SD3.5-Large, Large-Turbo. Juga berfungsi pada SD3-Medium.

Unduh

Unduh model berikut dari HuggingFace ke direktori models :

Stabilitas AI SD3.5 Besar atau Stabilitas AI SD3.5 Turbo Besar atau Stabilitas AI SD3.5 Sedang
OpenAI CLIP-L
OpenCLIP besarG
Google T5-XXL

Kode ini juga berfungsi untuk Stability AI SD3 Medium.

Memasang

 # Note: on windows use "python" not "python3"
python3 -s -m venv .sd3.5
source .sd3.5/bin/activate
# or on windows: venv/scripts/activate
python3 -s -m pip install -r requirements.txt

Berlari

 # Generate a cat using SD3.5 Large model (at models/sd3.5_large.safetensors) with its default settings
python3 sd3_infer.py --prompt " cute wallpaper art of a cat "
# Or use a text file with a list of prompts, using SD3.5 Large
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_large.safetensors
# Generate from prompt file using SD3.5 Large Turbo with its default settings
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_large_turbo.safetensors
# Generate from prompt file using SD3.5 Medium with its default settings, at 2k resolution
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_medium.safetensors --width 1920 --height 1080
# Generate from prompt file using SD3 Medium with its default settings
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3_medium.safetensors

Gambar akan ditampilkan ke outputs/<MODEL>/<PROMPT>_<DATETIME>_<POSTFIX> secara default. Untuk menambahkan postfix ke direktori keluaran, tambahkan --postfix <my_postfix> . Misalnya,

python3 sd3_infer.py --prompt path/to/my_prompts.txt --postfix " steps100 " --steps 100

Untuk mengubah resolusi gambar yang dihasilkan, tambahkan --width <WIDTH> --height <HEIGHT> .

Secara opsional, gunakan Skip Layer Guidance untuk potensi struktur dan koherensi anatomi yang lebih baik dari SD3.5-Medium.

python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_medium.safetensors --skip_layer_cfg True

Panduan Berkas

sd3_infer.py - titik masuk, tinjau ini untuk penggunaan dasar model difusi
sd3_impls.py - berisi pembungkus sekitar MMDiTX dan VAE
other_impls.py - berisi model CLIP, model T5, dan beberapa utilitas
mmditx.py - berisi inti dari MMDiT-X itu sendiri
models folder dengan file berikut (unduh terpisah):
- clip_l.safetensors (OpenAI CLIP-L, sama seperti SDXL/SD3, dapat mengambil salinan publik)
- clip_g.safetensors (openclip bigG, sama seperti SDXL/SD3, dapat mengambil salinan publik)
- t5xxl.safetensors (google T5-v1.1-XXL, dapat mengambil salinan publik)
- sd3.5_large.safetensors atau sd3.5_large_turbo.safetensors atau sd3.5_medium.safetensors (atau sd3_medium.safetensors )

Asal Kode

Kode yang disertakan di sini berasal dari:

Repositori kode penelitian internal Stabilitas AI (MM-DiT)
Repositori AI Stabilitas Publik (misalnya VAE)
Beberapa kode unik untuk repo referensi ini ditulis oleh Alex Goodwin dan Vikram Voleti untuk Stability AI
Beberapa kode dari implementasi Stabilitas internal ComfyUI SD3 (untuk beberapa koreksi dan penangan kode)
HuggingFace dan penyedia upstream (untuk bagian kode CLIP/T5)