dalle playground

Playground de texto para imagem (FKA Dall-e Playground)

Um playground para entusiastas de texto para imagem usando difusão estável v2.

Novembro de 2022, atualização principal

A versão original deste repositório usou o Dall-E Mini. Com a recente liberação de difusão estável (SD) V2 e a facilidade de implementação - esse repositório se moveu para usar o SD no Mini Dall -E.

Veja também o Whisper Playground - um playground para a criação de aplicativos da web de discursos em tempo real, usando o Whisper do OpenAi

Uso rápido

Você pode mexer com o playground Dall-E usando um front-end hospedado no Github. Siga estas etapas:

1. Execute o back-end de Dall-E usando o Google Colab
2. Copie o URL da saída da última célula executada. Procure a linha indicando com Your url is: .
3. Aguarde a carga do back -end , isso deve levar ~ 2min e você deve ver --> Image generation server is up and running!
4. Navegue https://saharmor.github.io/dalle-playground/?backendurl=https://xxxx.trycloudflare.com, onde o parâmetro de consulta backendUrl deve ser o URL da etapa anterior

NOTA GERAL : Embora seja possível executar o back -end no nível gratuito do Google Colab, gerando mais de ~ 2 imagens levariam> 1min, o que resultará em um tempo limite de front -end. Considere atualizar para o Colab Pro ou executar o caderno de back -end em sua máquina ML mais forte (por exemplo, AWS EC2).

Desenvolvimento local

Siga estas etapas, caso você queira clonar e executar o playground Dall-E localmente:

1. Clone ou Fork este repositório
2. Crie um cd backend && python3 -m venv ENV_NAME
3. Executar o ambiente virtual source venv/bin/activate
4. Instale requisitos pip install -r requirements.txt
5. Verifique se você tem Pytorch e seu Guia de instalação instalado de dependências
6. Execute o Web Server python3 app.py --port 8080 (você pode mudar de 8080 para sua própria porta)
7. Em um terminal diferente, instale cd interface && npm install e execute -o npm start
8. Copie o URL do back -end da etapa 5 e cole -o na entrada de URL do back -end no aplicativo da web

Desenvolvimento/uso local com Windows WSL2

A camada WSL2 Linux da Window tem alguns problemas exclusivos para executar o suporte à GPU. Os drivers NVIDIA CUDA estão instalados no lado do Windows em vez do Linux, mas Jax não vê a GPU sem compilar a partir da fonte. Aqui estão instruções extras para obter o JAX compilado.

1. Tenha um jogo recente do NVIDIA GeForce Ready ou NVIDIA RTX Quadro Driver instalado no Windows
2. No Linux: Instale o CUDA Toolkit da NVIDIA, WSL Instruções
3. No Linux: Instale a Biblioteca Cudnn da NVIDIA: Instruções
4. No Linux: construir e instalar jaxlib e jax da fonte, lembre -se de ativar o CUDA durante a compilação com python3 build/build.py --enable_cuda Instruções
5. Ao compilar jaxlib , você pode atingir um arquivo de configuração quebrado, solução aqui: Jax-ML/Jax#11068
6. Siga as instruções de desenvolvimento local acima

As instalações do WSL2 são ossos bastante vazios, espere instalar pacotes como npm , python3-pip e muitos outros para fazer as coisas funcionarem. Mais solucionando problemas aqui

Desenvolvimento local com Docker-Compose

1. Certifique -se de ter o Docker e o NVIDIA Container Toolkit instalado

2. Clone ou Fork este repositório

3. Inicie o servidor docker-compose up , adicione -d para docker-compose up se você quiser executá-lo em segundo plano

4. A primeira vez levará algum tempo para baixar as imagens, modelos e outras dependências. Modelos e outras dependências são baixados apenas uma vez e depois armazenados em cache.

5. Copie o URL do back -end da etapa 2 e cole -o na entrada de URL do back -end no aplicativo da web.

   WebApp em http://localhost:3000/dalle-playground

Agradecimentos

O reposistório original usou o mini Dall-e de Borisdayma.