postgresql multimodal retrieval

postgresql-multimodal-retrival

Multimodales Abrufen unter Verwendung von Vision Language -Modell mit PostgreSQL -Datenbank - eine vollständige Stapelimplementierung.

• Datenbank: PostgreSQL
• Vision Sprachmodell: OpenAI -Clip ( transformers Implementierung)
• Datensatz: Umarmen der Gesichtsdatensätze
• Frontend: Flet / Gradio
• Bereitstellung: Docker
• Infrastruktur: Umarmung der Gesichtsräume

Merkmale:

• Bild zu Bildsuche
• Text zur Bildsuche
• Hybridsuche

Einrichten

Erstellen Sie eine Conda -Umgebung

conda create -n postgresql-multimodal python=3.10
conda activate postgresql-multimodal

Installieren Sie Postgresql

conda install -c conda-forge postgresql
psql --version

PGVector installieren

conda install -c conda-forge pgvector

Postgresql initialisieren und starten

initdb -D mylocal_db
pg_ctl -D mylocal_db -l logfile start

Erstellen Sie eine Datenbank

createuser retrieval_user
createdb retrieval_db -O retrieval_user

Pakete installieren

pip install -r requirements.txt

Installieren Sie das PGMMR -Paket

 pip install -e .

Verwendung

Berechnung Einbettungen

Laufen

 python compute_embeddings.py

Dadurch werden Einbettungen für alle Bilder in der Datenbank berechnet.

Abfrage

Führen Sie Hybridsuche aus (Vektorsuche und Keywordsuche). Die Ergebnisse werden mit RRF eingestuft.

 python query.py "a cat and flower" --num_results 12

Gradio App

Laufen

 python gradio_app.py

Hybrid-Search-Postgres.mp4

Flet App

 flet run flet_app.py

Referenzen

• https://minimaxir.com/2024/06/pokemon-embeddings/
• https://github.com/minimaxir/pokemon-embeddings/tree/main
• https://towardsdatascience.com/quick-fire-guide-to-multi-modal-ml-with-openais-clip-2dad7e398ac0
• https://github.com/pgvector/pgVector
• https://huggingface.co/nomic-ai
• https://huggingface.co/datasets/wanghaofan/pokemon-wiki-captions https://github.com/jamescalam/clip-demos/blob/main/tutorials/00-get-started/00-get-started.ipynb