image to text to speech

画像からテキストとオーディオを生成します

Face AIモデルを抱きしめるために、画像からテキストを生成するアプリを使用して、テキストからオーディオを生成します。

このアプリケーションは、上記のタスクを完了するために3つのステップを使用します。

• 写真の内容に基づいてマシンがシナリオを理解できるようにするためのテキストモデルからモデル
• LLMを使用して、ステップ1で生成されたテキストに基づいて短編小説を生成します
• 最後に、テキストからスピーチモデルを使用して、LLMからストーリーのオーディオを生成します

システム設計

モデル

• 画像からテキストモデル：nlpconnect/vit-gpt2-image-captioning
• テキストからストーリーモデル：GPT-3.5-Turbo
• ストーリーからスピーチモデル：barえの

要件

python -m pip install -r requirements.txt

ローカルでアプリを実行します

 source build.sh

RimeLitクラウドを使用してアプリを実行します

起動アプリ

ライセンス

MITライセンスの下で配布されます。詳細については、 LICENSE参照してください。