dalle playground

สนามเด็กเล่นแบบ text-to-Image (สนามเด็กเล่น FKA Dall-e)

สนามเด็กเล่นสำหรับผู้ที่ชื่นชอบข้อความถึงภาพโดยใช้การแพร่กระจายที่เสถียร V2

พฤศจิกายน 2565 การอัปเดตครั้งใหญ่

เวอร์ชันดั้งเดิมของที่เก็บนี้ใช้ Dall-E mini ด้วยการเปิดตัวล่าสุดของการแพร่กระจายของเสถียร (SD) V2 และความสะดวกในการใช้งาน - ที่เก็บนี้ได้ย้ายไปใช้ SD ผ่าน Dall -E Mini

นอกจากนี้ยังดู Whisper Playground - สนามเด็กเล่นสำหรับการสร้างแอพพลิเคชั่น Web Speech2Text แบบเรียลไทม์โดยใช้ Whisper ของ Openai

การใช้งานอย่างรวดเร็ว

คุณสามารถ Tinker ด้วยสนามเด็กเล่น Dall-E โดยใช้ส่วนหน้าของ GitHub-hosted ทำตามขั้นตอนเหล่านี้:

1. เรียกใช้แบ็กเอนด์ Dall-e โดยใช้ Google Colab
2. คัดลอก URL จากผลลัพธ์ของเซลล์ที่ดำเนินการล่าสุด ค้นหาบรรทัดที่ระบุด้วย Your url is:
3. รอให้แบ็กเอนด์โหลดได้อย่างเต็มที่ ควรใช้เวลา ~ 2 นาทีและคุณควรเห็น --> Image generation server is up and running!
4. เรียกดู https://saharmor.github.io/dalle-playground/?backendurl=https://xxxx.trycloudflare.com ซึ่งพารามิเตอร์การสืบค้น backendUrl ควรเป็น URL จากขั้นตอนก่อนหน้า

หมายเหตุทั่วไป : แม้ว่าจะเป็นไปได้ที่จะเรียกใช้แบ็กเอนด์บนระดับฟรีของ Google Colab แต่การสร้างภาพมากกว่า 2 ภาพจะใช้> 1 นาทีซึ่งจะส่งผลให้เกิดการหมดเวลาส่วนหน้า พิจารณาอัปเกรดเป็น Colab Pro หรือเรียกใช้สมุดบันทึกแบ็กเอนด์บนเครื่อง ML ที่แข็งแกร่งของคุณ (เช่น AWS EC2)

การพัฒนาท้องถิ่น

ทำตามขั้นตอนเหล่านี้ในกรณีที่คุณต้องการโคลนและเรียกใช้สนามเด็กเล่น Dall-e ในพื้นที่:

1. โคลนหรือส้อมที่เก็บนี้
2. สร้าง cd backend && python3 -m venv ENV_NAME
3. เรียกใช้ source venv/bin/activate
4. การติดตั้งข้อกำหนด pip install -r requirements.txt
5. ตรวจสอบให้แน่ใจว่าคุณมี Pytorch และ คู่มือการติดตั้งการติดตั้ง การพึ่งพา
6. เรียกใช้เว็บเซิร์ฟเวอร์ python3 app.py --port 8080 (คุณสามารถเปลี่ยนจาก 8080 เป็นพอร์ตของคุณเอง)
7. ในเทอร์มินัลอื่นให้ติดตั้ง cd interface && npm install และเรียกใช้ npm start
8. คัดลอก URL ของแบ็กเอนด์จากขั้นตอนที่ 5 และวางไว้ใน URL ของแบ็กเอนด์ภายในเว็บแอปพลิเคชัน

การพัฒนา/ใช้งานท้องถิ่นกับ Windows WSL2

WSL2 Linux Layer ของ Window มีปัญหาเฉพาะบางอย่างที่ทำงานด้วยการสนับสนุน GPU มีการติดตั้งไดรเวอร์ Nvidia Cuda ที่ด้าน Windows แทน Linux แต่ Jax ไม่เห็น GPU โดยไม่ต้องรวบรวมจากแหล่งที่มา นี่คือคำแนะนำเพิ่มเติมเพื่อให้ Jax รวบรวม

1. มีเกม Nvidia GeForce ล่าสุดหรือไดรเวอร์ NVIDIA RTX Quadro ที่ติดตั้งใน Windows
2. ใน Linux: ติดตั้งชุดเครื่องมือ CUDA ของ NVIDIA, คำแนะนำ WSL
3. ใน Linux: ติดตั้งไลบรารี Cudnn ของ Nvidia: คำแนะนำ
4. ใน Linux: สร้างและติดตั้งทั้ง jaxlib และ jax จากแหล่งที่มาอย่าลืมเปิดใช้งาน cuda ระหว่างการรวบรวมด้วย python3 build/build.py --enable_cuda คำแนะนำ
5. ในการรวบรวม jaxlib คุณอาจกดไฟล์การกำหนดค่าที่เสียแล้วโซลูชันที่นี่: JAX-ML/JAX#11068
6. ปฏิบัติตามคำแนะนำการพัฒนาท้องถิ่นด้านบน

การติดตั้ง WSL2 เป็นกระดูกที่ค่อนข้างเปลือยเปล่าคาดว่าจะติดตั้งแพ็คเกจเช่น npm , python3-pip และอื่น ๆ อีกมากมายเพื่อให้ได้สิ่งต่างๆ การแก้ไขปัญหาเพิ่มเติมที่นี่

การพัฒนาท้องถิ่นด้วยนักเทียบท่า

1. ตรวจสอบให้แน่ใจว่าคุณติดตั้ง Docker และ Nvidia Container Toold

2. โคลนหรือส้อมที่เก็บนี้

3. เริ่มต้นเซิร์ฟเวอร์ docker-compose up เพิ่ม -d ไปยัง docker-compose up หากคุณต้องการเรียกใช้ในพื้นหลัง

4. ครั้งแรกจะใช้เวลาสักครู่ในการดาวน์โหลดรูปภาพรุ่นและการพึ่งพาอื่น ๆ แบบจำลองและการพึ่งพาอื่น ๆ จะถูกดาวน์โหลดเพียงครั้งเดียวแล้วแคช

5. คัดลอก URL ของแบ็กเอนด์จากขั้นตอนที่ 2 และวางไว้ใน URL ของแบ็กเอนด์ภายในเว็บแอป

   WebApp ที่ http://localhost:3000/dalle-playground

กิตติกรรมประกาศ

reposistory ดั้งเดิมใช้ dall-e mini ของ @borisdayma