image to text to speech

从图像中生成文本和音频

一个使用拥抱面AI模型从图像生成文本的应用程序，然后从文本中生成音频。

该应用程序使用三个步骤来完成上述任务：

• 图像到文本模型，让机器根据照片的内容理解场景
• 使用LLM根据步骤1中生成的文本生成一个短篇小说
• 最后，我们将使用文本到语音模型来为LLM的故事生成音频

系统设计

型号

• 图像到文本模型：NLPConnect/vit-gpt2-image捕获
• 文字到故事模型：GPT-3.5-Turbo
• 言语模型的故事：树皮

要求

python -m pip install -r requirements.txt

本地运行应用程序

 source build.sh

使用简易云运行应用程序

启动应用程序

执照

根据MIT许可分发。有关更多信息，请参见LICENSE 。