Text2ImageDescription

text2ImagedEscription

该项目有2个主要部分：

1. 图像检索：给定文本查询，从数据集中检索与查询相关的图像。
2. 图像描述生成：给定文本查询，为图像生成与查询最相关的描述。

图像检索

该项目的图像检索部分使用预先训练的OpenAI剪辑模型（https://github.com/openai/clip）从与给定文本查询相关的数据集中检索图像。用于此项目的数据集是Pascal VOC 2012数据集。该数据集包含大约3500张图像（火车 +验证）。剪辑模型用于编码文本查询和数据集中的图像。文本查询与图像之间的相似性是使用余弦相似性计算的。然后根据相似性得分对图像进行排名，并返回顶部K图像。

图像描述生成

图像描述生成项目的一部分使用预先训练的Mistral-7b（https://huggingface.co/thebloke/mistral-7b-instruct-v0.1-gguf）模型来生成给出输入查询的描述。

用法

要运行该项目，请按照以下步骤操作：

1. 克隆存储库
2. 运行笔记本code.ipynb

表现

• 资源：12 GB GPU（NVIDIA T4）
• 图像搜索：〜50毫秒。
• 描述生成：流媒体在大约2.5秒内开始，达到每秒40个令牌的速率。

结果

查看演示视频以查看text2ImagedEscription在行动中：

demo.mp4

执照

该项目是根据MIT许可证获得许可的 - 有关详细信息，请参见许可证文件。