image to text to speech

Generieren von Text und Audio aus den Bildern

Eine App, die umarme Gesichts -KI -Modelle verwendet, um Text aus einem Bild zu generieren, das dann Audio aus dem Text generiert.

Diese Anwendung verwendet drei Schritte, um die oben genannte Aufgabe zu erledigen:

• Bild zu Textmodell, damit die Maschine das Szenario basierend auf dem Inhalt des Fotos verstehen kann
• Verwenden Sie eine LLM, um eine Kurzgeschichte zu generieren, die auf dem in Schritt 1 generierten Text basiert
• Zuletzt werden wir einen Text zum Sprachmodell verwenden, um Audio für die Geschichte aus der LLM zu generieren

Systemdesign

Modelle

• Bild zu Textmodell: NLPConnect/Vit-GPT2-Image-Kapitalierung
• Text zu Story Model: GPT-3.5-Turbo
• Geschichte zu Sprachmodell: Rinde

Anforderungen

python -m pip install -r requirements.txt

App lokal ausführen

 source build.sh

Führen Sie die App mit Streamlit Cloud aus

App starten

Lizenz

Unter der MIT -Lizenz verteilt. Weitere Informationen finden Sie LICENSE .