ControlLoRA Chinese下載 - ControlLoRA Chinese源代碼下載

ControlLoRA Chinese

Ai源碼

1.0.0

下載

ControlLoRA-Chinese

使用中文微調的控制Stable Diffusion的空間信息的輕量級網絡

In English

簡單引述

ControlLoRA是使用LoRA技術可以簡單調試stable diffusion來控制其空間信息的工程。一般使用的是簡單微小的網絡(~7M 參數個數, ~25M 存儲)。更多的信息可以從ControlLoRA獲得。
這個工程可以看作是ControlLoRA的一個fork。並依據ControlLoRA的方法給出兩個中文領域的模型。

模型描述

你可以使用在線的huggingface space，上傳你的圖片和中文提示文本看輸出結果。由於是在cpu上進行部署使用，我推薦你下載這些工程到本地並使用你的gpu進行運行。（由於"is_available"的設定，將會動態根據是否有gpu切換設備）

名稱	HuggingFace 模型鏈接	HuggingFace 空間鏈接
ControlNet By Canny Chinese ?	https://huggingface.co/svjack/canny-control-lora-zh	https://huggingface.co/spaces/svjack/ControlNet-Canny-Chinese
ControlNet By Pose Chinese ?	https://huggingface.co/svjack/pose-control-lora-zh	https://huggingface.co/spaces/svjack/ControlNet-Pose-Chinese

安裝和運行

安裝

pip install -r requirements.txt

使用gradio部署運行

在安裝後，可以cd進入ControlNet-Canny-Chinese 和ControlNet-Pose-Chinese 分別運行

python app.py

打開你的瀏覽器，進入http://localhost:7860 在瀏覽器進行實驗。

生成器結果比較

Images

Name	Prompt	Original Image	Backbone Image	Transformed Image
ControlNet By Canny Chinese ?	表情俏皮的小丑
ControlNet By Canny Chinese ?	滿佈流星的夜晚
ControlNet By Canny Chinese ?	貓咪吸血鬼
ControlNet By Pose Chinese ?	麥田守望者
ControlNet By Pose Chinese ?	身穿軍服的軍官

更多信息和討論

LoRA: Low-Rank Adaptation of Large Language Models LoRA通過學習秩分解矩陣對並凍結原來的權重減少了訓練參數的個數。這極大地減少了大模型對下游任務微調和任務切換的存儲限制，開放部署時的推斷潛力。 LoRA也超過了其它很多調節模型（如：adapter, prefix-tuning, 和fine-tuning）

在Stable Diffusion領域，我也提供了3個使用Lora進行微調的Stable Diffusion模型。 CC3M數據集由svjack/img2dataset-pq2hf-transform-toolkit進行下載和轉換。

自訓練的其它Lora 相關模型展示

名稱	HuggingFace模型鏈接	語言	微調數據集
svjack/pokemon-sd-lora-zh	https://huggingface.co/svjack/pokemon-sd-lora-zh	Chinese	svjack/pokemon-blip-captions-en-zh
svjack/concept-caption-3m-sd-lora-en	https://huggingface.co/svjack/concept-caption-3m-sd-lora-en	English	Conceptual Captions (CC3M)
svjack/concept-caption-3m-sd-lora-zh	https://huggingface.co/svjack/concept-caption-3m-sd-lora-zh	Chinese	Conceptual Captions (CC3M)