AnimateDiff_Serverless_Runpod

Animatediff_serverless_runpod

1. Introduction

Il s'agit d'une application sans serveur qui utilise AnimateDIFF pour exécuter une tâche de texte à vidéo sur RunPod.

Voir aussi SDXL_SERVERSUSS_RUNPOD pour la tâche de texte à imgae .

Sans serveur signifie que vous n'êtes facturé que pour le temps que vous utilisez l'application, et que vous n'avez pas besoin de payer le temps d'inactivité, ce qui convient très bien à ce type d'application qui n'est pas utilisé fréquemment mais qui doit répondre rapidement.

Théoriquement, cette application peut être appelée par toute autre application. Ici, nous fournissons deux exemples:

1. Un simple script python
2. Un bot télégramme

Voir l'utilisation ci-dessous pour plus de détails.

Exemple de résultat:

Invite d'entrée: (graine aléatoire: 445608568)

 1girl, focus on face, offshoulder, light smile, shiny skin, best quality, masterpiece, photorealistic

Résultat: (Original | Panleft, 28 étapes, 768x512, environ 60 secondes sur RTX 3090, 0,015 $? Sur Runpod)

Exemple_result_person_45608568.mp4

Invite d'entrée: (graine aléatoire: 195577361)

 photo of coastline, rocks, storm weather, wind, waves, lightning, 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3

Résultat: (Original | Zoomout, 28 étapes, 768x512, environ 60 secondes sur RTX 3090, 0,015 $? Sur Runpod)

Exemple_result_scène_195577361.mp4

Explication de mesure du temps:

Le temps est mesuré à partir du moment où l'invite d'entrée est envoyée au moment où l'image du résultat est reçue, y compris l'heure pour toutes les étapes suivantes:

• Recevoir la demande du client
• Startup de conteneur sans serveur
• Chargement du modèle
• Inférence
• Renvoyer l'image de résultat au client.

2. Dépendances

• Python> = 3,9
• Docker
• Le GPU local est nécessaire pour les tests mais pas nécessaire pour le déploiement. (Recommandé: RTX 3090)

Si vous n'avez pas de GPU, vous pouvez modifier et tester le code sur Google Colab, puis créer et déployer l'application sur RunPod.

Exemple de cahier: lien

3. Utilisation

1. Tester sur la machine locale

 # Install dependencies
pip install -r requirements.txt

# Download models
python scripts/download.py

# Edit (or not) config to customize your inference, e.g., change base model, lora model, motion lora model, etc.
rename inference_v2(example).yaml to inference_v2.yaml

# Run inference test
python inference_util.py

# Run server.py local test
python server.py

Pendant le téléchargement, si vous rencontrez des erreurs comme "gdown.exception.FileUrlretrievalerror: Impossible de récupérer le lien public du fichier."

2. Déployer sur Runpod

1. Tout d'abord, assurez-vous d'avoir installé Docker et d'avoir des comptes sur DockerHub et RunPod.

2. Ensuite, décidez d'un nom pour votre image docker, par exemple, "votre_username / anidiff: v1" et définissez votre nom d'image dans "./scripts/build.sh".

3. Exécutez les commandes suivantes pour construire et pousser votre image Docker sur DockerHub.

scripts bash / build.sh

4. Enfin, déployez votre application sur RunPod pour créer un modèle et un point de terminaison.

Désolé de ne pas avoir fourni d'instructions détaillées ici, car l'auteur est assez occupé récemment. Vous pouvez trouver de nombreuses instructions détaillées sur Google sur la façon de déployer une image Docker sur Runpod.

N'hésitez pas à me contacter si vous rencontrez des problèmes après la recherche sur Google.

3. Appelez la demande

Appel à partir d'un script Python

 # Make sure to set API key and endpoint ID before running the script.
python test_client.py

Showcase: Appel à partir d'un bot télégramme

4. TODO

• Prise en charge du modèle de base spécifique pour différents objectifs. (Personne et scène)
• Prise en charge des modèles LORA. (Modifiez le fichier YAML et placez votre modèle dans "./Models/dreambooth_lora")
• Prise en charge des modèles de mouvement LORA. (Également modifiable dans le fichier YAML, voir ici pour plus de détails et de téléchargements.)
• Instructions plus détaillées
• Déploiement en un clic (si quelqu'un est intéressé ...)

4. Remerciement

Merci à Animatediff et Runpod.