dalle playground

Игровая площадка для текста до изображения (FKA Dall-E Playground)

Детская площадка для энтузиастов текста до изображения с использованием стабильной диффузии v2.

Ноябрь 2022 г., крупное обновление

В оригинальной версии этого репозитория использовалась Dall-E Mini. С недавним выпуском стабильной диффузионной (SD) V2 и простоты реализации - этот репозиторий перешел на использование SD через Dall -E Mini.

Также см. Whisper Playground - детская площадка для построения веб -приложений Speech2text в режиме реального времени, используя Whisper's Openai

Быстрое использование

Вы можете возиться с детской площадкой Dall-E, используя фронт, проведенный на GitHub. Следуйте этим шагам:

1. Запустите бэкэнд Dall-E с помощью Google Colab
2. Скопируйте URL с вывода последней выполненной ячейки. Поиск линии, указанной с Your url is: .
3. Дождитесь полной загрузки бэкэнд , это должно занять ~ 2 минуты, и вы должны увидеть --> Image generation server is up and running!
4. Обзор https://saharmor.github.io/dalle-playground/?backendurl=https://xxxx.trycloudflare.com, где параметр запроса backendUrl должен быть URL с предыдущего шага

Общее примечание : хотя можно запустить бэкэнд на свободном уровне Google Colab, генерирование более ~ 2 изображений займет> 1 минуты, что приведет к тайм -ауту. Подумайте об обновлении до Colab Pro или запустите бэкэнд -ноутбук на своей более сильной машине ML (например, AWS EC2).

Местное развитие

Следуйте этим шагам на случай, если вы хотите клонировать и запустить игровой площадку Dall-E на местном уровне:

1. Клон или разветвляется этот репозиторий
2. Создать cd backend && python3 -m venv ENV_NAME
3. Запустите виртуальную среду source venv/bin/activate
4. Установить требования pip install -r requirements.txt
5. Убедитесь, что у вас есть Pytorch и его зависимости установленное руководство по установке
6. Запустите веб -сервер python3 app.py --port 8080 (вы можете перейти с 8080 на свой собственный порт)
7. В другом терминале установите cd interface && npm install и запустите его npm start
8. Скопировать URL -адрес Backend с шага 5 и вставьте его на URL -ввод бэкэнд в веб -приложении

Локальная разработка/использование с Windows WSL2

У Window's WSL2 Linux Layer есть некоторые уникальные проблемы с поддержкой GPU. Драйверы NVIDIA CUDA устанавливаются на стороне Windows вместо Linux, но JAX не видит GPU без компиляции из источника. Вот дополнительные инструкции, чтобы составить JAX.

1. Установите недавнюю игру Nvidia Geforce Ready или Nvidia RTX Quadro Driver, установленные в Windows
2. В Linux: Установите инструментарий NVIDIA CUDA, инструкции WSL
3. В Linux: установите библиотеку Cudnn Nvidia: инструкции
4. В Linux: постройте и установите как jaxlib , так и jax из Source, не забудьте включить CUDA во время компиляции с помощью python3 build/build.py --enable_cuda Инструкции
5. При составлении jaxlib вы можете нажать сломанную файл конфигурации, решение здесь: JAX-ML/JAX#11068
6. Следуйте местным инструкциям по разработке выше

Установки WSL2-это довольно голые кости, ожидайте установить такие пакеты, как npm , python3-pip и многие другие, чтобы заставить вещи работать. Больше устранения неполадок здесь

Местное развитие с докером

1. Убедитесь, что у вас установлен Docker и Nvidia Container Toolkit

2. Клон или разветвляется этот репозиторий

3. Запустите сервер docker-compose up , добавьте -d в docker-compose up если вы хотите запустить его в фоновом режиме

4. В первый раз потребуется некоторое время, чтобы загрузить изображения, модели и другие зависимости. Модели и другие зависимости загружаются только один раз, а затем кэшируются.

5. Скопируйте URL -адрес Backend с шага 2 и вставьте его на URL -ввод Backend в веб -приложении.

   WebApp на http://localhost:3000/dalle-playground

Благодарности

Оригинальная репозистория использовалась @Borisdayma's Dall-E Mini.