sd lora trainer

トレーナー

このトレーナーはEdenチームによって開発されました。アプリでトレーナーのホストバージョンを試すことができます。これは、安定した拡散の上にある完全な微調整とトレーニングLORAモジュールの両方に使用できる高度に最適化されたトレーナーです。 SDV15とSDXLの両方で機能する単一のトレーニングスクリプトと損失モジュールを使用します！

このトレーナーの出力は、ComfyuiとAuto111と完全に互換性があります。ドキュメントはこちらをご覧ください。トレーニングに関する完全なガイドは、ドキュメントにあります。

トレーニング画像：

訓練されたロラで生成されたIMG：

トレーナーは4つの異なる方法で実行できます。

• 当社のウェブサイトでホストされたサービスとして
• Replicateを介したホストサービスとして
• Comfyuiノードとして
• スタンドアロンのPythonスクリプトとして

Comfyuiでの使用：

• トレーナーを実行し、それを行う方法のワークフローの例は、 /ComfyUI_workflowsにあります
• 重要なことにOPENAI_API_KEY=your_key_stringこのトレーナーはCHATGPTコールを使用して自動生成されたプロンプトをクリーンアップし、トレーニング可能なトークンを挿入します。これは、単一の行を含むリポジトリのルートにOpenAIキーを含む.ENVファイルがある場合にのみ機能します。

トレーナーは3つのデフォルトモードをサポートします。

• スタイル：画像のコレクションの美的スタイルを学ぶために使用されます。
• 顔：特定の顔を学ぶために使用されます（人間、性格、...）。
• オブジェクト：トレーニング画像で紹介されている特定のオブジェクトまたは物を学習します。

スタイルトレーニングの例：

設定

使用してすべての依存関係をインストールします

pip install -r requirements.txt

次に、単に実行できます。

python main.py train_configs/training_args.jsonトレーニングジョブを開始します。

training_args.json内の引数を調整して、カスタムトレーニングジョブをセットアップします。

---

COG（〜Docker Image）を使用して複製を使用してこれを実行することもできます。

1. Replicate 'cog'をインストールします。

 sudo curl -o /usr/local/bin/cog -L "https://github.com/replicate/cog/releases/latest/download/cog_$(uname -s)_$(uname -m)"
sudo chmod +x /usr/local/bin/cog

2. cog buildで画像を構築します
3. sh cog_test_train.shでトレーニングランを実行します
4. cog run /bin/bashでコンテナに入ることもできます

完全なUNET Finetuning

ネイティブPythonでこのトレーナーを実行するときは、（ニーズに合わせて調整） python main.py train_configs/full_finetuning_example.jsonようなものを使用して、完全なUnet Finetuningを実行することもできます。

トド

バグ：

• SD15の純粋なテキストの反転はうまく機能しないようです...（しかし、それはSDXLにとって驚くほどうまく機能します...）--->誰かがこれを理解できるなら、私は永遠に感謝するでしょう！
• Comfyuiノードを介してトレーニングが3倍遅い理由を把握します。
• DataloaderのAspect_ratioバケットを修正（https://github.com/kohya-ss/sd-scriptsを参照）

より大きな改善：

• フラックス / SD3を統合します
• マルチコンセプトトレーニング（複数のトークンで表される複数のもの、単一のロラに訓練されたもの）を追加します）
• より強力なトークンの正則化を追加します（例えば、セレブバシススパン基準）
• 灌流アイデアを実装する（スーパークラスでキーロック）：https：//research.nvidia.com/labs/par/perfusion/
• プロンプトアライメントを実装する：https：//prompt-aligned.github.io/