dalle playground

Text-to-Image Playground (FKA Dall-E Playground)

Taman bermain untuk penggemar teks-ke-gambar menggunakan difusi stabil V2.

November 2022, pembaruan besar

Versi asli repositori ini menggunakan Dall-E Mini. Dengan rilis terbaru dari stabil difusi (SD) V2 dan kemudahan implementasi - repositori ini telah bergerak untuk menggunakan SD lebih dari Dall -e mini.

Juga lihat Whisper Playground - taman bermain untuk membangun aplikasi web pidato real -time2Text menggunakan Openai's Whisper

Penggunaan cepat

Anda dapat bermain-main dengan taman bermain Dall-E menggunakan frontend yang diselenggarakan oleh GitHub. Ikuti langkah -langkah ini:

1. Jalankan backend Dall-E menggunakan Google Colab
2. Salin URL dari output sel yang dieksekusi terakhir. Cari garis yang menyatakan dengan Your url is: .
3. Tunggu backend untuk memuat sepenuhnya , ini harus memakan waktu ~ 2 menit dan Anda harus melihat --> Image generation server is up and running!
4. Jelajahi https://saharmor.github.io/dalle-playground/?backendurl=https://xxxx.trycloudflare.com di mana parameter kueri backendUrl harus menjadi URL dari langkah sebelumnya

Catatan Umum : Meskipun dimungkinkan untuk menjalankan backend pada tingkat gratis Google Colab, menghasilkan lebih dari ~ 2 gambar akan memakan waktu> 1 menit, yang akan menghasilkan batas waktu frontend. Pertimbangkan untuk meningkatkan ke Colab Pro atau jalankan buku catatan backend pada mesin ML Anda yang lebih kuat (misalnya AWS EC2).

Pengembangan Lokal

Ikuti langkah-langkah ini jika Anda ingin mengkloning dan menjalankan taman bermain Dall-E secara lokal:

1. Klon atau garpu repositori ini
2. Buat cd backend && python3 -m venv ENV_NAME
3. Jalankan source venv/bin/activate
4. Instal Persyaratan pip install -r requirements.txt
5. Pastikan Anda memiliki Pytorch dan Panduan Instalasi Instalasi Ketergantungannya
6. Jalankan server web python3 app.py --port 8080 (Anda dapat mengubah dari 8080 ke port Anda sendiri)
7. Di terminal yang berbeda, instal cd interface && npm install dan jalankan npm start
8. Salin URL Backend dari Langkah 5 dan Tempel di Input URL Backend di dalam Aplikasi Web

Pengembangan/Penggunaan Lokal dengan Windows WSL2

Lapisan Linux WSL2 Window memiliki beberapa masalah unik berjalan dengan dukungan GPU. Driver NVIDIA CUDA dipasang di sisi Windows, bukan Linux, tetapi Jax tidak melihat GPU tanpa menyusun dari sumber. Berikut adalah instruksi tambahan untuk dikompilasi JAX.

1. Siapkan game NVIDIA GEFORCE NVIDIA baru -baru ini atau driver NVIDIA RTX Quadro yang diinstal di Windows
2. Di Linux: Instal NVIDIA's CUDA Toolkit, WSL Instruksi
3. Di Linux: Instal Perpustakaan Cudnn Nvidia: Instruksi
4. Di Linux: Bangun dan instal jaxlib dan jax dari Sumber, ingatlah untuk mengaktifkan CUDA selama kompilasi dengan python3 build/build.py --enable_cuda Instruksi
5. Dalam mengkompilasi jaxlib , Anda mungkin menekan file konfigurasi yang rusak, solusi di sini: Jax-ml/jax#11068
6. Ikuti instruksi pengembangan lokal di atas

Instalasi WSL2 adalah tulang yang cukup telanjang, berharap untuk menginstal paket seperti npm , python3-pip dan banyak lainnya untuk membuat barang berfungsi. Lebih banyak pemecahan masalah di sini

Pengembangan Lokal dengan Kompose Docker

1. Pastikan Anda memiliki Docker dan NVIDIA Container Toolkit terpasang

2. Klon atau garpu repositori ini

3. Mulai Server docker-compose up , tambahkan -d untuk docker-compose up jika Anda ingin menjalankannya di latar belakang

4. Pertama kali akan membutuhkan waktu untuk mengunduh gambar, model, dan dependensi lainnya. Model dan dependensi lainnya hanya diunduh satu kali, dan kemudian di -cache.

5. Salin URL backend dari langkah 2 dan tempel di input URL backend di dalam aplikasi web.

   Webapp di http://localhost:3000/dalle-playground

Ucapan Terima Kasih

Reposistori asli menggunakan @borisdayma's dall-e mini.