AnimateDiff_Serverless_Runpod

Animatediff_serverless_runpod

1. Introducción

Esta es una aplicación sin servidor que usa Animatediff para ejecutar una tarea de texto a video en RUNPOD.

Consulte también SDXL_SERVERLESS_RUNPOD para la tarea de texto a imgae .

Serverless significa que solo se le cobra por el tiempo que usa la aplicación, y no necesita pagar el tiempo de inactividad, lo cual es muy adecuado para este tipo de aplicación que no se usa con frecuencia pero necesita responder rápidamente.

Teóricamente, esta aplicación puede llamarse a esta aplicación. Aquí proporcionamos dos ejemplos:

1. Un simple guión de Python
2. Un bot de telegrama

Consulte el uso a continuación para obtener más detalles.

Resultado de ejemplo:

Información de entrada: (semilla aleatoria: 445608568)

 1girl, focus on face, offshoulder, light smile, shiny skin, best quality, masterpiece, photorealistic

Resultado: (original | Panleft, 28 pasos, 768x512, alrededor de 60 segundos en RTX 3090, 0.015 $? En Runpod)

ejemplo_result_person_445608568.mp4

Solicitud de entrada: (semilla aleatoria: 195577361)

 photo of coastline, rocks, storm weather, wind, waves, lightning, 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3

Resultado: (original | zoomout, 28 pasos, 768x512, alrededor de 60 segundos en RTX 3090, 0.015 $? En Runpod)

Ejemplo_result_scene_195577361.mp4

Explicación de la medición del tiempo:

El tiempo se mide desde el momento en que el mensaje de entrada se envía al momento en que se recibe la imagen del resultado, incluido el tiempo para todos los siguientes pasos:

• Recibir la solicitud del cliente
• Inicio del contenedor sin servidor
• Carga de modelo
• Inferencia
• Enviando la imagen de resultado nuevamente al cliente.

2. Dependencias

• Python> = 3.9
• Estibador
• La GPU local es necesaria para la prueba, pero no es necesaria para la implementación. (Recomendado: RTX 3090)

Si no tiene una GPU, puede modificar y probar el código en Google Colab y luego construir e implementar la aplicación en RunPod.

Ejemplo de cuaderno: enlace

3. Uso

1. Prueba en la máquina local

 # Install dependencies
pip install -r requirements.txt

# Download models
python scripts/download.py

# Edit (or not) config to customize your inference, e.g., change base model, lora model, motion lora model, etc.
rename inference_v2(example).yaml to inference_v2.yaml

# Run inference test
python inference_util.py

# Run server.py local test
python server.py

Durante la descarga, si encuentra errores como "gdown.exceptions.fileUrlretrievalError: no puede recuperar el enlace público del archivo", reinstalando el paquete GDOWN utilizando "PIP Install-Upgrade--No-Cache-Dir Gdown" y volver a sin embargo la descarga.

2. Implementar en RunPod

1. Primero, asegúrese de haber instalado Docker y tener cuentas en DockerHub y Runpod.

2. Luego, decida un nombre para su imagen Docker, por ejemplo, "Your_username/Anidiff: V1" y configure su nombre de imagen en "./scripts/build.sh".

3. Ejecute los siguientes comandos para construir y empujar su imagen Docker a DockerHub.

Bash Scripts/Build.Sh

4. Finalmente, implemente su aplicación en RunPod para crear plantilla y punto final.

Perdón por no proporcionar instrucciones detalladas aquí, ya que el autor está bastante ocupado recientemente. Puede encontrar muchas instrucciones detalladas en Google sobre cómo implementar una imagen Docker en RunPod.

No dude en ponerse en contacto conmigo si encuentra algún problema después de buscar en Google.

3. Llame a la aplicación

Llama desde un guión de Python

 # Make sure to set API key and endpoint ID before running the script.
python test_client.py

Showcase: Llame desde un bot de telegrama

4. TODO

• Soporte para un modelo base específico para diferentes objetivos. (Persona y escena)
• Soporte para modelos Lora. (Edite el archivo Yaml y coloque su modelo en "./models/dreambooth_lora")
• Soporte para modelos Lora de movimiento. (También editable en el archivo YAML, vea aquí para obtener detalles y descargas).
• Instrucciones más detalladas
• Implementación de un solo clic (si alguien está interesado ...)

4. Reconocimiento

Gracias a Animatediff y Runpod.