image to text to speech

Generación de texto y audio a partir de imágenes

Una aplicación que utiliza modelos de IA de abrazos de abrazo para generar texto a partir de una imagen, que luego genera audio a partir del texto.

Esta aplicación utiliza tres pasos para completar la tarea mencionada anteriormente:

• Modelo de imagen a texto para que la máquina comprenda el escenario en función del contenido de la foto
• Use un LLM para generar una historia corta basada en el texto que se generó en el Paso 1
• Por último, utilizaremos un modelo de texto a discurso para generar audio para la historia del LLM

Diseño del sistema

Modelos

• Modelo de imagen a texto: NLPConnect/VIT-GPT2-Image
• Modelo de texto a historia: GPT-3.5-TURBO
• Modelo de historia a discurso: corteza

Requisitos

python -m pip install -r requirements.txt

Ejecutar la aplicación localmente

 source build.sh

Ejecutar la aplicación con la nube de rayamiento

Aplicación de la aplicación

Licencia

Distribuido bajo la licencia MIT. Consulte LICENSE para obtener más información.