พื้นที่เก็บข้อมูลนี้มีชุดของโครงการตัวอย่างเบนทิลแสดงให้เห็นถึงวิธีการปรับใช้โมเดลที่แตกต่างกันในตระกูลการแพร่กระจายที่เสถียร (SD) ซึ่งมีความเชี่ยวชาญในการสร้างและจัดการรูปภาพหรือคลิปวิดีโอตามข้อความแจ้ง
ดูที่นี่สำหรับรายการตัวอย่าง Bentoml ทั้งหมด
คู่มือต่อไปนี้ใช้ SDXL Turbo เป็นตัวอย่าง
หากคุณต้องการทดสอบบริการในเครื่องเราขอแนะนำให้คุณใช้ Nvidia GPU อย่างน้อย 12GB VRAM
git clone https://github.com/bentoml/BentoDiffusion.git
cd BentoDiffusion/sdxl-turbo
# Recommend Python 3.11
pip install -r requirements.txt เราได้กำหนดบริการ bentoml ใน service.py เรียกใช้ bentoml serve ในไดเรกทอรีโครงการของคุณเพื่อเริ่มบริการ
$ bentoml serve .
2024 - 01 - 18 T18 : 31 : 49 + 0800 [ INFO ] [ cli ] Starting production HTTP BentoServer from "service:SDXLTurboService" listening on http : // localhost : 3000 ( Press CTRL + C to quit )
Loading pipeline components ...: 100 %เซิร์ฟเวอร์ตอนนี้เปิดใช้งานที่ http: // localhost: 3000 คุณสามารถโต้ตอบกับมันโดยใช้ UI Swagger หรือในวิธีอื่น ๆ
ขด
curl -X ' POST '
' http://localhost:3000/txt2img '
-H ' accept: image/* '
-H ' Content-Type: application/json '
-d ' {
"prompt": "A cinematic shot of a baby racoon wearing an intricate italian priest robe.",
"num_inference_steps": 1,
"guidance_scale": 0
} 'ไคลเอนต์ Python
import bentoml
with bentoml . SyncHTTPClient ( "http://localhost:3000" ) as client :
result = client . txt2img (
prompt = "A cinematic shot of a baby racoon wearing an intricate italian priest robe." ,
num_inference_steps = 1 ,
guidance_scale = 0.0
)สำหรับคำอธิบายโดยละเอียดของรหัสบริการดูการแพร่กระจาย XL Turbo ที่เสถียร
หลังจากบริการพร้อมแล้วคุณสามารถปรับใช้แอปพลิเคชันไปยัง Bentocloud เพื่อการจัดการที่ดีขึ้นและปรับขนาดได้ ลงทะเบียนหากคุณยังไม่มีบัญชี Bentocloud
ตรวจสอบให้แน่ใจว่าคุณได้ลงชื่อเข้าใช้ Bentocloud จากนั้นเรียกใช้คำสั่งต่อไปนี้เพื่อปรับใช้
bentoml deploy .เมื่อแอปพลิเคชันเปิดใช้งานบน Bentocloud คุณสามารถเข้าถึงได้ผ่าน URL ที่เปิดเผย
หมายเหตุ : สำหรับการปรับใช้ที่กำหนดเองในโครงสร้างพื้นฐานของคุณเองใช้ Bentoml เพื่อสร้างภาพที่สอดคล้องกับ OCI
ในการปรับใช้แบบจำลองการแพร่กระจายที่แตกต่างกันไปที่ไดเรกทอรีย่อยที่สอดคล้องกันของที่เก็บนี้