postgresql multimodal retrieval

PostgreSQL-multimodal-retrieval

การดึงข้อมูลหลายรูปแบบโดยใช้แบบจำลองภาษาวิสัยทัศน์พร้อมฐานข้อมูล PostgreSQL - การใช้งานสแต็กเต็มรูปแบบ

• ฐานข้อมูล: PostgreSQL
• รูปแบบภาษาวิสัยทัศน์: คลิป OpenAI (การใช้งาน transformers )
• ชุดข้อมูล: Hugging Face DataSets
• Frontend: Flet / Gradio
• การปรับใช้: นักเทียบท่า
• โครงสร้างพื้นฐาน: กอดพื้นที่ใบหน้า

คุณสมบัติ:

• รูปภาพเพื่อค้นหารูปภาพ
• ข้อความไปยังการค้นหาภาพ
• การค้นหาแบบไฮบริด

การตั้งค่า

สร้างสภาพแวดล้อม conda

conda create -n postgresql-multimodal python=3.10
conda activate postgresql-multimodal

ติดตั้ง PostgreSQL

conda install -c conda-forge postgresql
psql --version

ติดตั้ง pgVector

conda install -c conda-forge pgvector

เริ่มต้นและเริ่ม PostgreSQL

initdb -D mylocal_db
pg_ctl -D mylocal_db -l logfile start

สร้างฐานข้อมูล

createuser retrieval_user
createdb retrieval_db -O retrieval_user

ติดตั้งแพ็คเกจ

pip install -r requirements.txt

ติดตั้งแพ็คเกจ PGMMR

 pip install -e .

การใช้งาน

คำนวณการฝัง

วิ่ง

 python compute_embeddings.py

สิ่งนี้จะคำนวณการฝังตัวสำหรับรูปภาพทั้งหมดในฐานข้อมูล

สอบถาม

เรียกใช้การค้นหาแบบไฮบริด (การค้นหาเวกเตอร์และการค้นหาคำหลัก) ผลลัพธ์ถูกจัดอันดับโดยใช้ RRF

 python query.py "a cat and flower" --num_results 12

แอพ gradio

วิ่ง

 python gradio_app.py

Hybrid-Search-postgres.mp4

แอพ Flet

 flet run flet_app.py

การอ้างอิง

• https://minimaxir.com/2024/06/pokemon-embeddings/
• https://github.com/minimaxir/pokemon-embeddings/tree/main
• https://towardsdatascience.com/quick-fire-guide-to-multi-modal-ml-with-openais-clip-2dad7e398ac0
• https://github.com/pgvector/pgvector
• https://huggingface.co/nomic-ai
• https://huggingface.co/datasets/wanghaofan/pokemon-wiki-captions https://github.com/jamescalam/clip-demos/blob/main/tutorials/00-get-started/00-get-started.ipynb