image to text to speech

Générer du texte et de l'audio à partir d'images

Une application qui utilise des modèles AI face à l'étreinte pour générer du texte à partir d'une image, qui génère ensuite l'audio à partir du texte.

Cette application utilise trois étapes pour terminer la tâche susmentionnée:

• Modèle d'image à texte pour permettre à la machine de comprendre le scénario en fonction du contenu de la photo
• Utilisez un LLM pour générer une nouvelle en fonction du texte généré à l'étape 1
• Enfin, nous utiliserons un modèle de texte en discours pour générer de l'audio pour l'histoire du LLM

Conception du système

Modèles

• Modèle d'image à texte: NLPConnect / Vit-GPT2-IMAGE-CAPTIONNAGE
• Modèle de texte à l'histoire: GPT-3.5-turbo
• Histoire à la parole Modèle: Bark

Exigences

python -m pip install -r requirements.txt

Exécutez l'application localement

 source build.sh

Exécuter l'application avec Streamlit Cloud

Application de lancement

Licence

Distribué sous la licence du MIT. Voir LICENSE pour plus d'informations.