image to text to speech

Gerando texto e áudio a partir de imagens

Um aplicativo que usa modelos de IA de face abraçados para gerar texto a partir de uma imagem, que gera áudio a partir do texto.

Este aplicativo usa três etapas para concluir a tarefa acima mencionada:

• Modelo de imagem para texto para deixar a máquina entender o cenário com base no conteúdo da foto
• Use um LLM para gerar uma história curta baseada no texto que foi gerado na Etapa 1
• Por fim, usaremos um modelo de texto para gerar áudio para a história do LLM

Design do sistema

Modelos

• Modelo de imagem para texto: NLPConnect/Vit-GPT2-Image Captioning
• Modelo de texto para história: GPT-3.5-Turbo
• História para o modelo de fala: casca

Requisitos

python -m pip install -r requirements.txt

Execute o aplicativo localmente

 source build.sh

Execute o aplicativo com a nuvem de streamlit

Lançar aplicativo

Licença

Distribuído sob a licença do MIT. Consulte LICENSE para obter mais informações.