ComfyUI Kolors MZ

Cambios recientes

• [2024-08-02] Admite faceid, agrega algunos nodos relacionados, consulta ejemplos/workflow_ipa_faceid.png para ver el flujo de trabajo

• [2024-07-27] Se agregó el nodo MZ_KolorsControlNetLoader para cargar el modelo oficial de ControlNet

• [2024-07-26] Se agregó el nodo MZ_ApplySDXLSamplingSettings para la versión V2 para regresar a la configuración del programador SDXL.

• [2024-07-25] Sample_settings corregido, los parámetros provienen de Scheduler_config.json, solo V2 tiene efecto

• [2024-07-21] Gracias a la sucursal de yiwangsimple para reparación y prueba de Mac https://github.com/yiwangsimple/ComfyUI-Kolors-MZ

• [2024-07-21] Se agregó el nodo MZ_ChatGLM3TextEncodeAdvanceV2

• [2024-07-18] Los nodos relacionados con IPA han sido compatibles con ComfyUI_IPAdapter_plus

• [2024-07-17] Se agregaron cargadores y nodos de aplicaciones avanzadas que admiten IPAdapter_plus MZ_KolorsCLIPVisionLoader, MZ_IPAdapterModelLoaderKolors, MZ_IPAdapterAdvancedKolors

• [2024-07-14] Eliminar la compatibilidad automática con ControlNet y agregar el nodo MZ_KolorsControlNetPatch

Implementación de Kolors en ComfyUI

Referencia de https://github.com/kijai/ComfyUI-KwaiKolorsWrapper

Utilice el muestreo nativo de ComfyUI

El flujo de trabajo se obtiene en ejemplos/workflow.png

Descarga del modelo UNET

El modelo unet se coloca en la carpeta models/unet/

Página de inicio del modelo: https://huggingface.co/Kwai-Kolors/Kolors

Dirección de descarga: https://huggingface.co/Kwai-Kolors/Kolors/resolve/main/unet/diffusion_pytorch_model.fp16.safetensors

Descarga del modelo ChatGLM3

chatglm3 se coloca debajo de la carpeta models/LLM/

Página de inicio del modelo: https://huggingface.co/Kijai/ChatGLM3-safetensors

Dirección de descarga: https://huggingface.co/Kijai/ChatGLM3-safetensors/resolve/main/chatglm3-fp16.safetensors

Se recomienda utilizar cubiq/ComfyUI_IPAdapter_plus para la implementación de IPAdapter.

Los nodos relacionados con faceid ya son compatibles y la implementación de IPAdapter necesita actualizar ComfyUI_IPAdapter_plus a la última versión.

Flujo de trabajo del adaptador IP

https://github.com/cubiq/ComfyUI_IPAdapter_plus/blob/main/examples/ipadapter_kolors.json

Flujo de trabajo IPAdapter_FaceIDv2

https://github.com/cubiq/ComfyUI_IPAdapter_plus/blob/main/examples/IPAdapter_FaceIDv2_Kolors.json

Dirección oficial de descarga del modelo IP-Adapter-Plus

Página de inicio del modelo: https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-Plus

https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-Plus/resolve/main/ip_adapter_plus_general.bin Descargar a modelos/ipadapter/

https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-Plus/resolve/main/image_encoder/pytorch_model.bin Descargar a models/clip_vision/

Dirección oficial de descarga del modelo Kolors-IP-Adapter-FaceID-Plus

Página de inicio del modelo: https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-FaceID-Plus

https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-FaceID-Plus/resolve/main/ipa-faceid-plus.bin Descargar a modelos/ipadapter/

https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-FaceID-Plus/resolve/main/clip-vit-large-patch14-336/pytorch_model.bin Descargar a models/clip_vision/

https://huggingface.co/MonsterMMORPG/tools/resolve/main/antelopev2.zip Descargue y extraiga en models/insightface/models/antelopev2/*.onnx

Dirección oficial de descarga del modelo ControlNet

Página de inicio del modelo (Profundidad): https://huggingface.co/Kwai-Kolors/Kolors-ControlNet-Depth

Página de inicio del modelo (Canny): https://huggingface.co/Kwai-Kolors/Kolors-ControlNet-Canny

Página de inicio del modelo (Pose): https://huggingface.co/Kwai-Kolors/Kolors-ControlNet-Pose

Dirección de descarga del modelo Kolors-Inpainting

Página de inicio del modelo: https://huggingface.co/Kwai-Kolors/Kolors-Inpainting

https://huggingface.co/Kwai-Kolors/Kolors-Inpainting/resolve/main/unet/diffusion_pytorch_model.safetensors Descargar a models/unet/

Implementación de Kolors en ComfyUI

Referencia de https://github.com/kijai/ComfyUI-KwaiKolorsWrapper

Uso del muestreo nativo de ComfyUI

El flujo de trabajo se obtiene en ejemplos/workflow.png

Descarga del modelo UNET

El modelo unet se coloca en la carpeta models/unet/

Página de inicio del modelo: https://huggingface.co/Kwai-Kolors/Kolors

Enlace de descarga: https://huggingface.co/Kwai-Kolors/Kolors/resolve/main/unet/diffusion_pytorch_model.fp16.safetensors

Descarga del modelo ChatGLM3

El chatglm3 se coloca en la carpeta models/LLM/

Página de inicio del modelo: https://huggingface.co/Kijai/ChatGLM3-safetensors

Enlace de descarga: https://huggingface.co/Kijai/ChatGLM3-safetensors/resolve/main/chatglm3-fp16.safetensors

Se recomienda la implementación de IPAdapter para usar cubiq/ComfyUI_IPAdapter_plus

Los nodos relacionados con faceid son compatibles y la implementación de IPAdapter necesita actualizar ComfyUI_IPAdapter_plus a la última versión.

Flujo de trabajo del adaptador IP

https://github.com/cubiq/ComfyUI_IPAdapter_plus/blob/main/examples/ipadapter_kolors.json

Flujo de trabajo IPAdapter_FaceIDv2

https://github.com/cubiq/ComfyUI_IPAdapter_plus/blob/main/examples/IPAdapter_FaceIDv2_Kolors.json

Enlace oficial de descarga del modelo IP-Adapter-Plus

Página de inicio del modelo: https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-Plus

https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-Plus/resolve/main/ip_adapter_plus_general.bin Descargar a modelos/ipadapter/

https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-Plus/resolve/main/image_encoder/pytorch_model.bin Descargar a models/clip_vision/

Enlace de descarga oficial del modelo Kolors-IP-Adapter-FaceID-Plus

Página de inicio del modelo: https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-FaceID-Plus

https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-FaceID-Plus/resolve/main/ipa-faceid-plus.bin Descargar a modelos/ipadapter/

https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-FaceID-Plus/resolve/main/clip-vit-large-patch14-336/pytorch_model.bin Descargar a models/clip_vision/

https://huggingface.co/MonsterMMORPG/tools/resolve/main/antelopev2.zip Descargue y descomprima en models/insightface/models/antelopev2/*.onnx

Enlace oficial de descarga del modelo ControlNet

Página de inicio del modelo (profundidad): https://huggingface.co/Kwai-Kolors/Kolors-ControlNet-Depth

Página de inicio del modelo (Canny): https://huggingface.co/Kwai-Kolors/Kolors-ControlNet-Canny

Página de inicio del modelo (Pose): https://huggingface.co/Kwai-Kolors/Kolors-ControlNet-Pose

Enlace de descarga del modelo Kolors-Inpainting

Página de inicio del modelo: https://huggingface.co/Kwai-Kolors/Kolors-Inpainting

https://huggingface.co/Kwai-Kolors/Kolors-Inpainting/resolve/main/unet/diffusion_pytorch_model.safetensors Descargar a models/unet/

Resultados de la prueba con la misma semilla usando ComfyUI-KwaiKolorsWrapper

El flujo de trabajo de prueba proviene de ejemplos/workflow_same_seed_test.png

El flujo de trabajo de prueba proviene de ejemplos/workflow_same_seed_test.png

Preguntas frecuentes

Error al cargar el modelo

• Actualmente hay dos versiones de kolors, una es del tipo unet y usa el cargador unet, y la otra es la carpeta de puntos de control y usa el cargador KolorsCheckpointLoaderSimple. Si su modelo proviene de la carpeta unet de huggingface, intente usar el cargador unet primero. (Actualmente, hay dos versiones de kolors, una es de tipo unet usando el cargador unet y la otra se coloca en la carpeta de puntos de control usando el cargador KolorsCheckpointLoaderSimple. Si su modelo proviene de la carpeta unet de huggingface, intente usar el cargador unet primero)
• Si no está seguro del tipo de modelo, pruebe ambos

Los usuarios de Mac no pueden usar (los usuarios de Mac no pueden usar)

• Los usuarios de Mac pueden ir a ComfyUI-Kolors-MZ (los usuarios de Mac pueden ir a ComfyUI-Kolors-MZ)

Errores relacionados con IPAdapter

• Asegúrese de que la ontología ComfyUI y ComfyUI_IPAdapter_plus estén actualizados a la última versión

el nombre 'round_up' no está definido

• Referencia: THUDM/ChatGLM2-6B#272 (comentario), use pip install cpm_kernels o pip install -U cpm_kernels para actualizar cpm_kernels

El módulo 'comfy.model_detection' no tiene el atributo 'unet_prefix_from_state_dict'

• Actualice la ontología ComfyUI a la última versión (Actualice la ontología ComfyUI a la última versión)

RuntimeError: solo los tensores de tipo d de punto flotante pueden requerir gradientes

• Intente usar la versión fp16 del modelo: https://huggingface.co/Kijai/ChatGLM3-safetensors/blob/main/chatglm3-fp16.safetensors

Se produjo un error al ejecutar MZ_ChatGLM3Loader: el objeto 'ChatGLMModel' no tiene el atributo 'transformador'

• Compruebe si el modelo seleccionado por el nodo ChatGLM3Loader se ha descargado correctamente

Créditos

• colores
• Cómoda interfaz de usuario
• ComfyUI_IPAdapter_plus

Historia de las estrellas

Contacto

• WeChat: zona minrs
• Bilibili: menos_zona
• Pequeño libro rojo: MinusZoneAI

Observadores de estrellas

Patrocinio