postgresql multimodal retrieval

PostgreSQL-multimodal-retrieval

Pengambilan multimodal menggunakan model bahasa visi dengan database PostgreSQL - implementasi tumpukan penuh.

• Database: PostgreSQL
• Model Bahasa Visi: Klip OpenAI (Implementasi transformers )
• Dataset: Dataset Wajah Memeluk
• Frontend: FLET / GRADIO
• Penyebaran: Docker
• Infrastruktur: Memeluk Ruang Wajah

Fitur:

• Gambar ke pencarian gambar
• Teks untuk Pencarian Gambar
• Pencarian hibrida

Menyiapkan

Buat lingkungan conda

conda create -n postgresql-multimodal python=3.10
conda activate postgresql-multimodal

Instal PostgreSQL

conda install -c conda-forge postgresql
psql --version

Instal PGVector

conda install -c conda-forge pgvector

Inisialisasi dan mulai postgresql

initdb -D mylocal_db
pg_ctl -D mylocal_db -l logfile start

Buat database

createuser retrieval_user
createdb retrieval_db -O retrieval_user

Instal Paket

pip install -r requirements.txt

Instal Paket PGMMR

 pip install -e .

Penggunaan

Hitung embeddings

Berlari

 python compute_embeddings.py

Ini akan menghitung embeddings untuk semua gambar dalam database.

Pertanyaan

Jalankan pencarian hybrid (pencarian vektor dan pencarian kata kunci). Hasilnya diberi peringkat menggunakan RRF.

 python query.py "a cat and flower" --num_results 12

Aplikasi Gradio

Berlari

 python gradio_app.py

hybrid-search-postgres.mp4

Aplikasi GHET

 flet run flet_app.py

Referensi

• https://minimaxir.com/2024/06/pokemon-embeddings/
• https://github.com/minimaxir/pokemon-embeddings/tree/main
• https://towardsdatacience.com/quick-fire-guide-to-multi-modal-ml-with-openais-clip-2dad7e398ac0
• https://github.com/pgvector/pgvector
• https://huggingface.co/nomic-ai
• https://huggingface.co/datasets/wanghaofan/pokemon-wiki-captions https://github.com/jamescalam/clip-demos/blob/main/tutorials/00-get-started/00-get-started.ipynb