BentoDiffusion

Model Difusi Self-Host dengan Bentoml

Repositori ini berisi serangkaian proyek contoh bentoml, menunjukkan cara menggunakan model yang berbeda dalam keluarga difusi stabil (SD), yang berspesialisasi dalam menghasilkan dan memanipulasi gambar atau klip video berdasarkan petunjuk teks.

Lihat di sini untuk daftar lengkap proyek contoh bentoml.

Panduan berikut menggunakan SDXL Turbo sebagai contoh.

Prasyarat

Jika Anda ingin menguji layanan secara lokal, kami sarankan Anda menggunakan GPU NVIDIA dengan setidaknya 12GB VRAM.

Instal dependensi

git clone https://github.com/bentoml/BentoDiffusion.git
cd BentoDiffusion/sdxl-turbo

# Recommend Python 3.11
pip install -r requirements.txt

Jalankan Layanan Bentoml

Kami telah mendefinisikan layanan bentoml di service.py . Jalankan bentoml serve di direktori proyek Anda untuk memulai layanan.

$ bentoml serve .

2024 - 01 - 18 T18 : 31 : 49 + 0800 [ INFO ] [ cli ] Starting production HTTP BentoServer from "service:SDXLTurboService" listening on http : // localhost : 3000 ( Press CTRL + C to quit )
Loading pipeline components ...: 100 %

Server sekarang aktif di http: // localhost: 3000. Anda dapat berinteraksi dengan itu menggunakan UI Swagger atau dengan cara lain yang berbeda.

KERITING

curl -X ' POST ' 
  ' http://localhost:3000/txt2img ' 
  -H ' accept: image/* ' 
  -H ' Content-Type: application/json ' 
  -d ' {
  "prompt": "A cinematic shot of a baby racoon wearing an intricate italian priest robe.",
  "num_inference_steps": 1,
  "guidance_scale": 0
} '

Klien Python

 import bentoml

with bentoml . SyncHTTPClient ( "http://localhost:3000" ) as client :
        result = client . txt2img (
            prompt = "A cinematic shot of a baby racoon wearing an intricate italian priest robe." ,
            num_inference_steps = 1 ,
            guidance_scale = 0.0
        )

Untuk penjelasan terperinci tentang kode layanan, lihat Difusi Stabil XL Turbo.

Menyebarkan ke Bentocloud

Setelah layanan siap, Anda dapat menggunakan aplikasi ke Bentocloud untuk manajemen dan skalabilitas yang lebih baik. Daftar jika Anda belum memiliki akun Bentocloud.

Pastikan Anda telah masuk ke Bentocloud, lalu jalankan perintah berikut untuk menyebarkannya.

bentoml deploy .

Setelah aplikasi aktif dan berjalan di Bentocloud, Anda dapat mengaksesnya melalui URL yang terbuka.

Catatan : Untuk penyebaran khusus dalam infrastruktur Anda sendiri, gunakan Bentoml untuk menghasilkan gambar yang sesuai OCI.

Pilih model difusi lain

Untuk menggunakan model difusi yang berbeda, buka subdirektori yang sesuai dari repositori ini.

• ControlNet
• Model konsistensi laten
• Difusi stabil 2 dengan 4x upscaler
• SDXL Lightning
• SDXL Turbo
• Difusi video yang stabil