dalle playground

Playground de texto a imagen (FKA Dall-E Playground)

Un patio de recreo para entusiastas de texto a imagen utilizando difusión estable V2.

Noviembre de 2022, actualización importante

La versión original de este repositorio usó Dall-E Mini. Con la reciente lanzamiento de la difusión estable (SD) V2 y la facilidad de implementación, este repositorio se ha movido para usar SD sobre Dall -E Mini.

Vea también Whisper Playground - un patio de recreo para construir aplicaciones web de Speech2Text en tiempo real utilizando Whisper de OpenAi

Uso rápido

Puedes jugar con el patio de juegos Dall-E usando un interviero alojado en GitHub. Sigue estos pasos:

1. Ejecute el backend de Dall-E usando Google Colab
2. Copie la URL de la salida de la última celda ejecutada. La búsqueda de la línea que indica con Your url is: .
3. Espere a que el backend se cargue completamente , esto debería tomar ~ 2 minutos y debe ver --> Image generation server is up and running!
4. Examine https://saharmor.github.io/dalle-playground/?backendurl=https://xxxx.trycloudflare.com donde el parámetro de consulta de backendUrl debe ser la URL del paso anterior

Nota general : Si bien es posible ejecutar el backend en el nivel gratuito de Google Colab, generar más de ~ 2 imágenes tomaría> 1 minuto, lo que dará como resultado un tiempo de espera frontend. Considere actualizar a Colab Pro o ejecutar el cuaderno de backend en su máquina ML más fuerte (por ejemplo, AWS EC2).

Desarrollo local

Siga estos pasos en caso de que desee clonar y ejecutar el parque infantil de Dall-E localmente:

1. Clon o bifurcarse este repositorio
2. Crear un entorno virtual cd backend && python3 -m venv ENV_NAME
3. Ejecutar el entorno virtual source venv/bin/activate
4. Instalar requisitos pip install -r requirements.txt
5. Asegúrese de tener Pytorch y sus dependencias Guía de instalación instalada
6. Ejecute el servidor web python3 app.py --port 8080 (puede cambiar de 8080 a su propio puerto)
7. En un terminal diferente, instale cd interface && npm install y ejecutarlo npm start
8. Copie la URL del backend del paso 5 y péguela en la entrada de URL del backend dentro de la aplicación web

Desarrollo/uso local con Windows WSL2

La capa WSL2 Linux WSL2 de Window tiene algunos problemas únicos en ejecución con soporte de GPU. Los controladores NVIDIA CUDA se instalan en el lado de Windows en lugar de Linux, pero Jax no ve la GPU sin compilar desde la fuente. Aquí hay instrucciones adicionales para compilar Jax.

1. Tener un juego reciente de Nvidia GeForce listo o controlador NVIDIA RTX Quadro instalado en Windows
2. En Linux: instale el kit de herramientas CUDA de NVIDIA, instrucciones WSL
3. En Linux: instalar la biblioteca Cudnn de Nvidia: instrucciones
4. En Linux: construya e instale a jaxlib y jax desde la fuente, recuerde habilitar CUDA durante la compilación con instrucciones python3 build/build.py --enable_cuda
5. Al compilar jaxlib , puede presionar un archivo de configuración roto, solución aquí: Jax-ML/Jax#11068
6. Siga las instrucciones de desarrollo locales anteriores

Las instalaciones de WSL2 son huesos bastante desnudos, esperan instalar paquetes como npm , python3-pip y muchos otros para que las cosas funcionen. Más solución de problemas aquí

Desarrollo local con Docker-Compose

1. Asegúrese de tener Docker y el kit de herramientas de contenedor NVIDIA instalado

2. Clon o bifurcarse este repositorio

3. Inicie el servidor docker-compose up , agregue -d a docker-compose up si desea ejecutarlo en segundo plano

4. La primera vez tomará algo de tiempo para descargar las imágenes, modelos y otras dependencias. Los modelos y otras dependencias se descargan solo una vez, y luego almacenan en caché.

5. Copie la URL del backend del paso 2 y péguela en la entrada de URL del backend dentro de la aplicación web.

   WebApp en http://localhost:3000/dalle-playground

Expresiones de gratitud

El reposistory original usó @Dall-E Mini de Borisdayma.