dalle playground

Terrain de jeu text-à-image (FKA Dall-E Playground)

Une aire de jeux pour les amateurs de texte à l'image en utilisant une diffusion stable V2.

Novembre 2022, mise à jour majeure

La version originale de ce référentiel a utilisé Dall-e Mini. Avec la version récente de la diffusion stable (SD) V2 et la facilité d'implémentation - ce référentiel a décidé d'utiliser SD sur Dall-E Mini.

Voir également Whisper Playground - Un terrain de jeu pour créer des applications Web Speech2Text en temps réel en utilisant Openai's Whisper

Utilisation rapide

Vous pouvez bricoler avec le terrain de jeu de Dall-E à l'aide d'un frontend hébergé Github. Suivez ces étapes:

1. Exécutez le backend Dall-E à l'aide de Google Colab
2. Copiez l'URL de la sortie de la dernière cellule exécutée. Search for the line stating with Your url is: .
3. Attendez que le backend se charge complètement , cela devrait prendre ~ 2 min et vous devriez voir --> Image generation server is up and running!
4. Browse https://saharmor.github.io/dalle-playground/?backendUrl=https://XXXX.trycloudflare.com where the backendUrl query parameter should be the url from the previous step

Remarque générale : Bien qu'il soit possible d'exécuter le backend sur le niveau libre de Google Colab, générer plus de ~ 2 images prendrait> 1 min, ce qui entraînera un délai de frontend. Pensez à la mise à niveau vers Colab Pro ou exécutez le cahier backend sur votre machine ML plus forte (par exemple AWS EC2).

Développement local

Suivez ces étapes au cas où vous souhaitez cloner et exécuter le terrain de jeu Dall-E localement: vous

1. Clone ou fourche ce référentiel
2. Créer un environnement virtuel cd backend && python3 -m venv ENV_NAME
3. Exécuter un environnement virtuel source venv/bin/activate
4. Installer les exigences pip install -r requirements.txt
5. Assurez-vous d'avoir Pytorch et ses dépendances installées Guide d'installation
6. Exécuter le serveur Web python3 app.py --port 8080 (vous pouvez passer de 8080 à votre propre port)
7. Dans un terminal différent, installez cd interface && npm install et l'exécutez npm start
8. Copiez l'URL du backend à partir de l'étape 5 et collez-le dans la saisie de l'URL du backend dans l'application Web

Développement / utilisation locale avec Windows WSL2

La couche WSL2 Linux de Windows a des problèmes uniques en cours d'exécution avec le support GPU. Les pilotes NVIDIA CUDA sont installés du côté de Windows au lieu de Linux, mais Jax ne voit pas le GPU sans compilation à partir de la source. Voici des instructions supplémentaires pour que Jax soit compilé.

1. Ayez un jeu Nvidia GeForce récent Ready ou Nvidia RTX Quadro Driver installé sous Windows
2. Dans Linux: Installez la boîte à outils CUDA de Nvidia, WSL Instructions
3. Dans Linux: Installer la bibliothèque CUDNN de Nvidia: Instructions
4. Dans Linux: construire et installer jaxlib et jax de Source, n'oubliez pas d'activer Cuda pendant la compilation avec python3 build/build.py --enable_cuda
5. Dans la compilation jaxlib , vous pouvez appuyer sur un fichier de configuration brisé, solution ici: Jax-ML / Jax # 11068
6. Suivez les instructions de développement locales ci-dessus

Les installations WSL2 sont des os assez nus, attendez-vous à installer des packages comme npm , python3-pip et bien d'autres pour faire fonctionner les choses. Plus de dépannage ici

Développement local avec docker-compose

1. Assurez-vous que Docker et la boîte à outils Nvidia Container installée

2. Clone ou fourche ce référentiel

3. Démarrer le serveur docker-compose up , ajouter -d à docker-compose up si vous souhaitez l'exécuter en arrière-plan

4. La première fois prendra un certain temps pour télécharger les images, les modèles et autres dépendances. Les modèles et autres dépendances ne sont téléchargés qu'une seule fois, puis mis en cache.

5. Copiez l'URL du backend à partir de l'étape 2 et collez-le dans la saisie de l'URL du backend dans l'application Web.

   webapp sur http://localhost:3000/dalle-playground

Remerciements

Le repositoire d'origine a utilisé @ Borisdayma's Dall-e Mini.