dalle playground

テキストから画像への遊び場（FKA Dall-eプレイグラウンド）

安定した拡散V2を使用したテキストから画像への愛好家の遊び場。

2022年11月、メジャーアップデート

このリポジトリの元のバージョンは、Dall-E Miniを使用しました。 Stable Diffusion（SD）V2の最近のリリースと実装の容易さにより、このリポジトリはDall -E Miniを介してSDを使用するように移行しました。

また、Whisper Playground -Openaiのささやきを使用してリアルタイムのSpeech2Text Webアプリを構築するための遊び場をご覧ください

迅速な使用

GitHubホストのフロントエンドを使用して、Dall-Eの遊び場をいじくり回すことができます。次の手順に従ってください：

1. Google Colabを使用してDall-Eバックエンドを実行します
2. 最後に実行されたセルの出力からURLをコピーします。 Your url is:で記載されている行を検索します。
3. バックエンドが完全にロードされるのを待つと、これには〜2分かかり、表示されます--> Image generation server is up and running!
4. backendUrl https://saharmor.github.io/dalle-playground/?backendurl=https://xxxx.trycloudflare.com

一般的な注意：Google Colabの無料層でバックエンドを実行することは可能ですが、2つ以上の画像を生成するには1分以上かかり、フロントエンドのタイムアウトが発生します。 Colab Proへのアップグレードを検討するか、強力なMLマシンでバックエンドノートブックを実行します（AWS EC2など）。

ローカル開発

Dall-Eの遊び場を地元でクローンして実行する場合は、次の手順に従ってください。

1. このリポジトリをクローンまたはフォークします
2. 仮想環境cd backend && python3 -m venv ENV_NAMEを作成する
3. 仮想環境source venv/bin/activate実行します
4. 要件pip install -r requirements.txtインストールしてください
5. Pytorchとその依存関係がインストールされたインストールガイドがあることを確認してください
6. Webサーバーpython3 app.py --port 8080を実行します（8080から自分のポートに変更できます）
7. 別の端末で、FrontEndのモジュールcd interface && npm installをインストールし、 npm startを実行します
8. ステップ5からバックエンドのURLをコピーし、Webアプリ内のバックエンドのURL入力に貼り付けます

Windows WSL2でのローカル開発/使用

WindowのWSL2 Linuxレイヤーには、GPUサポートで実行されるユニークな問題がいくつかあります。 Nvidia CudaドライバーはLinuxの代わりにWindows側にインストールされますが、JaxはソースからコンパイルせずにGPUを表示しません。 Jaxをコンパイルするための追加の指示を以下に示します。

1. 最近のnvidiageforceゲームの準備ができているか、windowsにインストールされているnvidia rtx quadroドライバーを持っています
2. Linux：NvidiaのCUDAツールキット、WSL命令をインストールします
3. Linux：NvidiaのCudnnライブラリをインストール：指示
4. Linux：Build and jaxlibとjax両方をソースからインストールして、 python3 build/build.py --enable_cudaの編集中にCUDAを有効にすることを忘れないでください
5. jaxlibをコンパイルする際に、壊れた構成ファイルを押す可能性があります。解決策はこちら：Jax-ML/Jax＃11068
6. 上記のローカル開発の指示に従ってください

WSL2インストールはかなり裸の骨であり、 npm 、 python3-pipなどのパッケージをインストールすることを期待しています。こちらのトラブルシューティング

Docker-Composeによるローカル開発

1. dockerとnvidiaコンテナツールキットがインストールされていることを確認してください

2. このリポジトリをクローンまたはフォークします

3. サーバーdocker-compose up docker-compose up -dします。

4. 初めては、画像、モデル、その他の依存関係をダウンロードするのに時間がかかります。モデルやその他の依存関係は一度だけダウンロードされ、その後キャッシュされます。

5. ステップ2からバックエンドのURLをコピーし、Webアプリ内のバックエンドのURL入力に貼り付けます。

   http://localhost:3000/dalle-playground webapp

謝辞

元のリポジストリーは、 @borisdaymaのDall-e miniを使用しました。