image to text to speech

Создание текста и аудио с изображений

Приложение, которое использует модели AG -AIG FACE для создания текста из изображения, которое затем генерирует аудио из текста.

Это приложение использует три шага для выполнения вышеупомянутой задачи:

• Изображение в текстовую модель, чтобы машина поняла сценарий на основе содержания фото
• Используйте LLM, чтобы генерировать рассказ на основе текста, который был сгенерирован на шаге 1
• Наконец, мы будем использовать модель текста в речевую речь для создания звука для истории из LLM

Дизайн системы

Модели

• Модель изображения к текстовым
• Модель текста в рассказ: GPT-3.5-Turbo
• Модель истории к речи: кора

Требования

python -m pip install -r requirements.txt

Запустите приложение локально

 source build.sh

Запустите приложение с помощью облака Streamlit

Запуск приложения

Лицензия

Распределено по лицензии MIT. Смотрите LICENSE для получения дополнительной информации.