ControlLoRA Chinese
1.0.0
中国の微調整を使用した安定した拡散の空間情報を制御する軽量ネットワーク
英語で
Controlloraは、LORAテクノロジーを使用して安定した拡散をデバッグして空間情報を制御するエンジニアリングです。一般に、シンプルで小さなネットワークが使用されます（約7mパラメーター、〜25mストレージ）。詳細については、Controloraから入手できます。
このプロジェクトは、コントロールのフォークと見なすことができます。また、Controloraメソッドに基づいて2つの中国のフィールドが与えられています。
オンラインハギングフェイススペースを使用して、写真と中国のプロンプトテキストをアップロードして、出力の結果を確認できます。 CPUで展開および使用されているため、これらのプロジェクトをローカルにダウンロードして、GPUを使用して実行することをお勧めします。 （「is_available」の設定により、GPUがあるかどうかに基づいてデバイスを動的に切り替えます）
| 名前 | ハギングフェイスモデルリンク | ハギングフェイススペースリンク |
|---|---|---|
| Canny ChineseのControlNet？ | https://huggingface.co/svjack/canny-control-lora-zh | https://huggingface.co/spaces/svjack/controlnet-canny-chinese |
| ポーズ中国語のコントロールネット？ | https://huggingface.co/svjack/pose-control-lora-zh | https://huggingface.co/spaces/svjack/controlnet-pose-chinese |
pip install -r requirements.txtインストール後、CONTROLNET-CANNY-CHINESEとCONTROLNET-POSE-CHINEESEにCDを個別に実行できます
python app.pyブラウザを開き、http：// localhost：7860にアクセスして、ブラウザで実験します。
| 名前 | プロンプト | 元の画像 | バックボーン画像 | 変換された画像 |
|---|---|---|---|---|
| Canny ChineseのControlNet？ | 遊び心のあるピエロ |  |  |  |
| Canny ChineseのControlNet？ | 流星でいっぱいの夜 |  |  |  |
| Canny ChineseのControlNet？ | 猫の吸血鬼 |  |  |  |
| ポーズ中国語のコントロールネット？ | 小麦フィールドウォッチャー |  |  |  |
| ポーズ中国語のコントロールネット？ | 軍服の軍事将校 |  |  |  |
LORA：ランク分解マトリックスペアを学習し、元の重量を凍結することにより、LORAの低ランク適応はトレーニングパラメーターの数を減らします。これにより、ビッグモデルによる微調整とタスクの切り替えの下流タスクのストレージ制限が大幅に削減され、展開時に推論の可能性が開かれます。 Loraはまた、他の多くの調整モデル（アダプター、プレフィックス調整、微調整など）を上回ります
安定した拡散フィールドでは、LORAを使用して微調整された3つの安定した拡散モデルも提供します。 CC3Mデータセットは、SVJACK/IMG2DATASET-PQ2HF-TRANSFORM-TOOLKITによってダウンロードおよび変換されます。
| 名前 | ハギングフェイスモデルリンク | 言語 | データセットを微調整します |
|---|---|---|---|
| svjack/pokemon-sd-lora-zh | https://huggingface.co/svjack/pokemon-sd-lora-zh | 中国語 | svjack/pokemon-blip-captions-en-zh |
| svjack/concept-caption-3m-sd-lora-en | https://huggingface.co/svjack/concept-caption-3m-sd-lora-en | 英語 | 概念キャプション（CC3M） |
| svjack/concept-caption-3m-sd-lora-zh | https://huggingface.co/svjack/concept-caption-3m-sd-lora-zh | 中国語 | 概念キャプション（CC3M） |
モデルカードを介してこれらのモデルを使用する方法を見つけることができます。
svjack [email protected] [email protected]
プロジェクトリンク：https：//github.com/svjack/controllora-chinese
