Text2ImageDescription

text2ImagedSscription

プロジェクトには2つの主要なパーツがあります。

1. 画像取得：テキストクエリが与えられた場合、クエリに関連するデータセットから画像を取得します。
2. 画像の説明の生成：テキストクエリを指定して、クエリに最も関連する画像の説明を生成します。

画像検索

プロジェクトの画像検索パーツでは、事前に訓練されたOpenAIクリップモデル（https://github.com/openai/clip）を使用して、特定のテキストクエリに関連するデータセットから画像を取得します。このプロジェクトに使用されるデータセットは、Pascal Voc 2012データセットです。データセットには約3500の画像が含まれています（トレーニング +検証）。クリップモデルは、テキストクエリとデータセット内の画像をエンコードするために使用されます。テキストクエリと画像の類似性は、コサインの類似性を使用して計算されます。画像は類似性スコアに基づいてランク付けされ、上部K画像が返されます。

画像説明生成

画像の説明プロジェクトの生成部分は、事前に訓練されたMistral-7B（https://huggingface.co/thebloke/mistral-7b-instruct-v0.1-gguf）モデルを使用して、入力クエリの説明を生成します。

使用法

プロジェクトを実行するには、以下の手順に従ってください。

1. リポジトリをクローンします
2. ノートブックcode.ipynbを実行します

パフォーマンス

• リソース：12 GB GPU（NVIDIA T4）
• 画像検索：〜50ミリ秒。
• 説明生成：ストリーミングは約2.5秒以内に始まり、1秒あたり40トークンのレートを達成します。

結果

デモビデオをチェックして、text2imagedesscriptionの動作を確認してください。

demo.mp4

ライセンス

このプロジェクトは、MITライセンスに基づいてライセンスされています。詳細については、ライセンスファイルを参照してください。