image to text to speech

從圖像中生成文本和音頻

一個使用擁抱面AI模型從圖像生成文本的應用程序，然後從文本中生成音頻。

該應用程序使用三個步驟來完成上述任務：

• 圖像到文本模型，讓機器根據照片的內容理解場景
• 使用LLM根據步驟1中生成的文本生成一個短篇小說
• 最後，我們將使用文本到語音模型來為LLM的故事生成音頻

系統設計

型號

• 圖像到文本模型：NLPConnect/vit-gpt2-image捕獲
• 文字到故事模型：GPT-3.5-Turbo
• 言語模型的故事：樹皮

要求

python -m pip install -r requirements.txt

本地運行應用程序

 source build.sh

使用簡易云運行應用程序

啟動應用程序

執照

根據MIT許可分發。有關更多信息，請參見LICENSE 。