postgresql multimodal retrieval

后Ql-multimodal-retrival

使用PostgreSQL数据库的视觉语言模型的多模式检索 - 完整的堆栈实现。

• 数据库：PostgreSQL
• 视觉语言模型：OpenAI剪辑（ transformers实施）
• 数据集：拥抱面部数据集
• 前端：flet / gradio
• 部署：Docker
• 基础设施：拥抱面部空间

特征：

• 图像搜索
• 文字要图像搜索
• 混合搜索

设置

创建一个Conda环境

conda create -n postgresql-multimodal python=3.10
conda activate postgresql-multimodal

安装PostgreSQL

conda install -c conda-forge postgresql
psql --version

安装PGVECTOR

conda install -c conda-forge pgvector

初始化并启动PostgreSQL

initdb -D mylocal_db
pg_ctl -D mylocal_db -l logfile start

创建一个数据库

createuser retrieval_user
createdb retrieval_db -O retrieval_user

安装软件包

pip install -r requirements.txt

安装PGMMR软件包

 pip install -e .

用法

计算嵌入

跑步

 python compute_embeddings.py

这将计算数据库中所有图像的嵌入。

询问

运行混合搜索（向量搜索和关键字搜索）。结果使用RRF对结果进行排名。

 python query.py "a cat and flower" --num_results 12

Gradio应用

跑步

 python gradio_app.py

Hybrid-Search-Postgres.mp4

Flet应用程序

 flet run flet_app.py

参考

• https://minimaxir.com/2024/06/pokemon-embeddings/
• https://github.com/minimaxir/pokemon-embeddings/tree/main
• https://towardsdatascience.com/quick-fire-guide-to-multi-modal-ml-ml-with-with-with-popenais-clip-clip-2dad7e398ac0
• https://github.com/pgvector/pgvector
• https://huggingface.co/nomic-ai
• https://huggingface.co/datasets/wanghaofan/pokemon-wiki-captions https://github.com/jamescalam/clip-demos/clip-demos/blob/main/main/main/tutorials/00-get-started/00-get-started/00-get-started/00-get-get-started.ipynb