ControlLoRA Chinese
1.0.0
Redes livianas que controlan la información espacial de la difusión estable utilizando el ajuste fino chino
En Inglés
Controlora es una ingeniería que utiliza la tecnología Lora para simplemente depurar la difusión estable para controlar su información espacial. En general, se usa una red simple y pequeña (parámetros de ~ 7 m, ~ 25 m de almacenamiento). Hay más información disponible en Controlora.
Este proyecto puede considerarse como una bifurcación de controlora. Y se dan dos campos chinos en función del método Controllora.
Puede usar el espacio de Huggingface en línea para cargar sus imágenes y el texto indicador chino para ver los resultados de la salida. Dado que se implementa y se usa en la CPU, le recomiendo que descargue estos proyectos localmente y los ejecute usando su GPU. (Debido a la configuración de "is_available", cambiará dinámicamente los dispositivos en función de si hay una GPU)
| nombre | Enlace del modelo Huggingface | Enlace espacial de Huggingface |
|---|---|---|
| ¿Controlnet por chino canny? | https://huggingface.co/svjack/canny-control-lora-zh | https://huggingface.co/spaces/svjack/controlnet-canny-chinese |
| ¿Controlnet por pose chino? | https://huggingface.co/svjack/pose-control-lora-zh | https://huggingface.co/spaces/svjack/controlnet-pose-chinese |
pip install -r requirements.txtDespués de la instalación, puede CD en Controlnet-Canny-Chinese y Controlnet-Pose-Chinese para ejecutarse por separado
python app.pyAbra su navegador y vaya a http: // localhost: 7860 para experimentar en el navegador.
| Nombre | Inmediato | Imagen original | Imagen de la columna vertebral | Imagen transformada |
|---|---|---|---|---|
| ¿Controlnet por chino canny? | Un payaso juguetón |  |  |  |
| ¿Controlnet por chino canny? | Noche llena de meteoritos |  |  |  |
| ¿Controlnet por chino canny? | Vampiro gato |  |  |  |
| ¿Controlnet por pose chino? | Observador de campo de trigo |  |  |  |
| ¿Controlnet por pose chino? | Oficial militar en uniforme militar |  |  |  |
Lora: la adaptación de bajo rango de modelos de idiomas grandes Lora reduce el número de parámetros de entrenamiento al aprender el par de matriz de descomposición de rango y congelar el peso original. Esto reduce en gran medida las limitaciones de almacenamiento de las tareas aguas abajo, ajuste y el cambio de tareas por parte del modelo grande, abriendo el potencial de inferencia al implementar. Lora también supera muchos otros modelos de ajuste (como adaptador, ajuste de prefijo y ajuste fino)
En el campo de difusión estable, también proporciono 3 modelos de difusión estables ajustados con lora. El conjunto de datos CC3M se descarga y se convierte por SVJACK/IMG2DATASET-PQ2HF-Transform-Toolkit.
| nombre | Enlace del modelo Huggingface | idioma | Ajuste el conjunto de datos |
|---|---|---|---|
| svjack/pokemon-sd-lora-zh | https://huggingface.co/svjack/pokemon-sd-lora-zh | Chino | Svjack/Pokemon-Blip-Captions-en-zh |
| svjack/concepto-caption-3m-sd-lora-en | https://huggingface.co/svjack/concept-caption-3m-sd-lora-en | Inglés | Subtítulos conceptuales (CC3M) |
| svjack/concepto-caption-3m-sd-lora-zh | https://huggingface.co/svjack/concept-caption-3m-sd-lora-zh | Chino | Subtítulos conceptuales (CC3M) |
Puede descubrir cómo usar estos modelos a través de la tarjeta modelo.
svjack - [email protected] - [email protected]
Enlace del proyecto: https: //github.com/svjack/controllora-chinese
