Moteur invite temporel: moteur rapide local, open-source, intuitif et cinématographique + suite de génération vidéo et de audio pour les GPU NVIDIA
## avec désormais un script Hunyuanvideo personnalisé 12B avec Mmudio incorporé pour les cartes de 80 Go.
## Mise à jour massive des instructions ci-dessous à venir très bientôt (12/11/2024)
Je recherche un assistant bénévole si vous êtes intéressé à contacter [email protected] - cela va très bientôt à une version WebApp.
Table des matières
- Introduction
- Présentation des fonctionnalités
- Installation
- Guide de démarrage rapide
- Configuration de la clé API
- Mode de l'histoire: déchaîner les récits épiques
- Cas d'utilisation inspirants
- Exploiter le pouvoir de Comfyui
- Génération de vidéos locale à l'aide de Cogvideo
- Rejoignez le voyage des laboratoires temporels
- Dons et soutien
- Services supplémentaires offerts
- Demande d'attribution et de courtoisie
- Contact
- Remerciements
Introduction
Bienvenue dans le moteur invite temporel un cadre complet pour construire des variations de lots ou des séquences d'histoire pour les générateurs d'invites vidéo. Cette idée a été originale comme un flux de travail Comfyui pour Cogvideox, mais a depuis évolué en un cadre modulaire qui s'est avéré avoir évolué avec de nouveaux modèles fondamentaux et pipelines.
Présentation des fonctionnalités
- Invites vidéo cinématographiques : adaptez tous les aspects de votre scène - du type de caméra et de l'objectif à l'éclairage et au cadrage.
- Conscience temporelle : choisissez une décennie et les options de caméra représenteront cette période, en ajoutant de la profondeur et du contexte à vos scènes.
- Variables dynamiques : ajustez les paramètres comme l'éclairage, le mouvement de la caméra, l'éclairage, l'heure de la journée et plus grâce à des options déroulantes faciles à utiliser.
- Modes spéciaux :
- Mode de l'histoire : mélangez de manière transparente des invites à travers les trames pour créer des récits cohérents, vous permettant de créer des histoires épiques ou des contes intimes.
- Mode des vacances : générer du contenu saisonnier adapté aux vacances, parfait pour la marque festive et le marketing.
- Mode du chaos : ajoutez l'imprévisibilité avec le mode chaos.
- Paramètres interconnectés : Découvrez comment les choix comme la sélection d'un style artistique ancien influencent d'autres variables comme la palette de couleurs et la texture, créant une sortie cohérente et authentique.
- Compatibilité multiplateforme : Disponible pour Windows & Linux
Installation
La configuration du moteur d'invite temporelle est simple et sans tracas, vous permettant de vous concentrer sur la création plutôt que sur la configuration. Cette section fournit des étapes d'installation pour les utilisateurs de Windows .
Préparation du système
Guide de configuration de YouTube Partie 1:
- Système d'exploitation : Windows 10 ou version ultérieure
- Python : version 3.10.9
- Télécharger Python Installateur :
- Visitez la page Python Downloads.
- Téléchargez l'installateur Python 3.10.9 pour Windows.
- Installez Python :
- Exécutez le programme d'installation :
- Double-cliquez sur le fichier d'installation EXE téléchargé.
- Important :
- Si vous avez déjà installé Python :
- Soyez prudent lorsque vous ajoutez Python au chemin, car il peut écraser votre version Python existante dans le chemin du système.
- Pour éviter les conflits, vous pouvez installer Python 3.10.9 sans l'ajouter au chemin. Au lieu de cela, utilisez le lanceur Python pour Windows (
py ) pour spécifier la version lors de l'exécution des commandes.
- Si vous n'avez pas installé Python :
- Cochez la case "Ajouter Python au chemin" en bas de la fenêtre d'installation.
- Cliquez sur "Installer maintenant" .
- Vérifiez l'installation :
- Ouvrez une nouvelle invite de commande.
- Courir:
- Vous devriez voir
Python 3.10.9 .
## Si vous souhaitez que les capacités de génération de vidéos fonctionnent, vous aurez également besoin d'un Python 3.12.4 local. Si cela est en place, la configuration.py gérera tout. ## Si vous souhaitez seulement utiliser le moteur rapide et le générateur d'effets sonores, vous ne vous contentez pas de 3,10.9 même si le setup.py se plaint un peu.
Système d'exploitation : Windows 10 ou version ultérieure
Python : version 3.12.4
- Télécharger Python Installateur :
- Visitez la page Python Downloads.
- Téléchargez l'installateur Python 3.12.4 pour Windows.
- Installez Python :
- Exécutez le programme d'installation :
- Double-cliquez sur le fichier d'installation EXE téléchargé.
- Important :
- Si vous avez déjà installé Python :
- Soyez prudent lorsque vous ajoutez Python au chemin, car il peut écraser votre version Python existante dans le chemin du système.
- Pour éviter les conflits, vous pouvez installer Python 3.10.9 sans l'ajouter au chemin. Au lieu de cela, utilisez le lanceur Python pour Windows (
py ) pour spécifier la version lors de l'exécution des commandes.
- Si vous n'avez pas installé Python :
- Cochez la case "Ajouter Python au chemin" en bas de la fenêtre d'installation.
- Cliquez sur "Installer maintenant" .
- Vérifiez l'installation :
- Ouvrez une nouvelle invite de commande.
- Courir:
- Vous devriez voir
Python 3.12.4 . - Système d'exploitation : Windows 10 ou version ultérieure
- PY -3.12 est utilisé par des processus back-end d'environnement de génération de vidéos importants.
Git : installé et configuré
- Installer Git :
- Téléchargez Git depuis Git pour Windows.
- Exécutez le programme d'installation avec les paramètres par défaut.
- Vérifiez l'installation :
- Ouvrez une nouvelle invite de commande.
- Courir:
- Vous devriez voir la version git installée.
GPU NVIDIA : GPU NVIDIA compatible CUDA pour des performances optimales
- Assurez-vous d'avoir un GPU NVIDIA avec les derniers pilotes.
Cuda Toolkit : version 11.8 compatible avec votre GPU et installé
- Installez la boîte à outils CUDA :
- Téléchargez la boîte à outils CUDA à partir de la boîte à outils CUDA Télécharger.
- Exécutez le programme d'installation et suivez les instructions à l'écran.
- Vérifiez l'installation :
- Ouvrez une nouvelle invite de commande et exécutez:
- Vous devriez voir les informations de version des outils de compilation CUDA.
Ffmpeg : installé et ajouté au PATH du système
- Étape 1: Cliquez ici pour télécharger le fichier zip de la dernière version.
- Étape 2: Décompressez ce fichier en utilisant un archiver de fichier tel que Winrar ou 7Z.
- Étape 3: Renommez le dossier extrait en ffmpeg et déplacez-le dans la racine de C: Drive.
-
setx /m PATH "C:ffmpegbin;%PATH%" - Vérifiez l'installation :
- Ouvrez une nouvelle invite de commande et exécutez:
- Vous devriez voir des informations de version FFMPEG.
OLLAMA : Téléchargez à partir de la configuration d'Olllama et suivez les instructions à l'écran à installer.
## [Configuration du guide vidéo partie 2) [https://youtu.be/_8txlnwa9ak?si=eo73edqxafblqa_o]
Vous êtes prêt à commencer le processus de configuration automatisé:
Cloner le repo
git clone https://github.com/TemporalLabsLLC-SOL/TemporalPromptEngine.git
Téléchargez manuellement le référentiel :
- Visitez le référentiel GitHub temporalPromptGenerator.
- Cliquez sur le bouton "Code" et sélectionnez "Télécharger Zip" .
- Extraire le fichier zip téléchargé dans votre emplacement souhaité (par exemple,
C:TemporalPromptEngine ).
Installateur de clic facile
Ouvrez l'archive extraite (ou repo cloné) et cliquez sur RUN-FIRST-PRE-FLIGHT-CHECK.bat
- Suivez les invites à l'écran. Le script configurera automatiquement les environnements Python, l'installation de packages nécessaires et configurera les paramètres.
L'application sera lancée, vous guidant tout au long de la configuration initiale. Au cours de cette configuration, soit après avoir fermé l'application, soit nié d'ouvrir l'Open pendant la configuration, vous aurez la possibilité d'ajouter un raccourci de travail sur votre bureau. Il n'a actuellement pas d'icône. Cela chargera l'env et les scripts de manière fiable à l'avenir.
OU
Exécutez manuellement le script de configuration :
- Ouvrez l'invite de commande et accédez au répertoire
TemporalPromptEngine extrait: cd C: T emporalPromptEngine-main
- Accédez au dossier
WINDOWS : - Exécutez le script de configuration:
## Guide de démarrage rapide
Si vous avez ajouté le raccourci sur le bureau pendant la configuration
Click the Temporal Prompt Engine Shortcut on your Windows Desktop
Si vous n'avez pas ajouté de raccourci au bureau pendant la configuration
Activez l'environnement virtuel :
cd C: T emporalPromptEngine-main
TemporalPromptEngineEnv S cripts a ctivate
Lancez l'application :
python TemporalPromptEngine.py
Entrez la touche API dans l'application :
- Collez la clé de votre API HuggingFace lorsqu'elle est invitée lors de la configuration du moteur invite temporel.
- Vous n'aurez besoin que de saisir cette seule fois dans un environnement de moteur de configuration. Vous pouvez simplement fermer cette fenêtre contextuelle dans les utilisations ultérieures.
Entrez votre concept de scène :
Entrez votre idée créative ou votre description de scène (jusqu'à 400 caractères).
Exemples :
"Voir le monde à travers les yeux d'un ancien astronome, cartographiant les étoiles avec des outils rudimentaires sous un vaste ciel nocturne non pollué."
- Images crypto-animaux :
"Des images de style documentaire capturant l'insaisissable« cryptolion », une créature mythique qui incarne les modèles numériques et la fourrure luminescente."
Configurer les options d'invites vidéo et audio : adaptez vos invites vidéo et audio à l'aide de listes déroulantes et de champs d'entrée.
Générer des invites vidéo et audio :
- Cliquez sur Générer les invites vidéo .
Enregistrer et exporter : tous les supports et invites sont enregistrés dans votre répertoire de sortie désigné.
Mode de l'histoire: déchaîner les récits épiques
Le mode histoire élabore de manière cohérente un plan d'histoire, puis transforme chaque battement dans cette séquence en une invite vidéo à part entière et optimisée permettant le traitement par lots transparent des pools de contenu plus longs. Ce n'est pas seulement jeter des mots clés dans des invites. Il existe plusieurs couches de logique back-end axée sur la pratique cinématographique, la théorie et l'histoire.
Rejoignez le voyage des laboratoires temporels
Soutenez la mission de repousser les limites de l'IA et de la technologie. Rejoignez-vous en tant qu'investisseur, développeur ou client.
Services supplémentaires offerts
- Le tutorat , le développement , la conception , le conseil et les ateliers sont disponibles pour répondre à vos besoins en IA et en technologie.
Contact
Pour les questions, le soutien, les opportunités de collaboration ou pour discuter de la façon dont nous pouvons travailler ensemble:
Remerciements
Grâce aux développeurs et aux communautés derrière Git , Python , Ffmpeg , Hunyuanvideo , Mmudio , Olllama , Audioldm2 , Cogvideo , Comfyui et HuggingFace pour avoir rendu ce projet possible.
