pg vector embed rust

PG Vector Embedding และ Query Rust

พื้นที่เก็บข้อมูลนี้มีระบบที่ใช้เป็นสนิมสำหรับการจัดการการฝังเวกเตอร์และการสืบค้นโดยใช้ฐานข้อมูลเวกเตอร์ที่ได้รับการสนับสนุน postgreSQL ระบบได้รับการออกแบบมาเพื่อจัดการการสร้างการฝังพื้นที่จัดเก็บและการสืบค้น

สารบัญ

• ภาพรวม
• คุณสมบัติ
• โครงสร้างไดเรกทอรี
• เริ่มต้น
  • ข้อกำหนดเบื้องต้น
  • การติดตั้ง
  • การรันแอปพลิเคชัน
• การใช้งาน
  • คำสั่ง
  • การกำหนดค่า
  • การฝังและสอบถาม
• การทดสอบ
• การบริจาค
• ใบอนุญาต

ภาพรวม

ระบบประกอบด้วยหลายโมดูลที่จัดการแง่มุมต่าง ๆ ของกระบวนการฝังและการสืบค้น:

• คำสั่ง : จัดการอาร์กิวเมนต์บรรทัดคำสั่งและคำสั่งย่อย
• กำหนดค่า : จัดการการตั้งค่าการกำหนดค่าสำหรับการฝังคำขอและการเชื่อมต่อฐานข้อมูล
• ค่าคงที่ : ให้ค่าคงที่ที่ใช้ตลอดแอปพลิเคชัน
• Embedding : มีตรรกะสำหรับการสร้าง embeddings และคงอยู่กับฐานข้อมูล
• VECTORDB : จัดการการโต้ตอบกับฐานข้อมูล PostgreSQL สำหรับการจัดเก็บและสอบถามการฝังเวกเตอร์เวกเตอร์

คุณสมบัติ

• การสร้างการฝัง : สร้างเวกเตอร์ฝังตัวจากข้อมูลอินพุต
• ฐานข้อมูลการคงอยู่ : จัดเก็บ embeddings ในฐานข้อมูล PostgreSQL
• การสืบค้น : สอบถามฐานข้อมูลเพื่อค้นหาเพื่อนบ้านที่ใกล้ที่สุดตามการฝังตัวของเวกเตอร์

โครงสร้างไดเรกทอรี

 src/
├── app/
│   ├── commands.rs
│   ├── config.rs
│   └── constants.rs
├── embedding/
│   ├── run_embedding.rs
│   └── vector_embedding.rs
├── main.rs
├── tests/
│   ├── setup_docker.rs
│   ├── test_pgclient.rs
│   ├── test_query_vector.rs
│   ├── test_run_embedding.rs
│   └── test_vector_embedding.rs
├── vectordb/
│   ├── pg_vector.rs
│   └── query_vector.rs
├── lib.rs
├── vectordb/mod.rs
├── tests/mod.rs
├── embedding/mod.rs
└── app/mod.rs

เริ่มต้น

ข้อกำหนดเบื้องต้น

• Rust (เวอร์ชันที่มีเสถียรภาพล่าสุด)
• postgreSQL เวกเตอร์ db
• Docker (สำหรับการทดสอบการรัน)
• บริการ Ollama ที่ใช้งานอยู่กับ nomic-embed-text หรือรุ่นที่คล้ายกัน

การติดตั้ง

1. โคลนที่เก็บ:

   git clone https://github.com/rupeshtr78/pg-vector-embed-rust.git
   cd pg-vector-embed-rust

2. ติดตั้งการพึ่งพา:

   cargo build

การรันแอปพลิเคชัน

1. เริ่มฐานข้อมูลเวกเตอร์ postgreSQL (หากยังไม่ทำงาน)

2. บริการ Ollama ควรทำงานกับรุ่นที่ระบุ

3. เรียกใช้แอปพลิเคชัน:

   cargo run
      
   

การใช้งาน

คำสั่ง

แอปพลิเคชันรองรับคำสั่งและคำสั่งย่อยต่างๆ ใช้ --help Flag เพื่อดูตัวเลือกที่มีอยู่:

   cargo run -- --help
   cargo run -- write --input " dog sound is called bark " --input " cat sounds is called purr " --model " nomic-embed-text " --table " from_rust2 " --dim 768 --log-level " debug "
   cargo run -- query --input " who is barking " --model " nomic-embed-text " --table " from_rust2 "  

การกำหนดค่า

การตั้งค่าการกำหนดค่าสำหรับคำขอฝังและการเชื่อมต่อฐานข้อมูลได้รับการจัดการใน src/app/config.rs คุณสามารถแก้ไขการตั้งค่าเหล่านี้ได้ตามต้องการ

การฝังและสอบถาม

• สร้าง EMBEDDINGS : ใช้ฟังก์ชั่น run_embedding เพื่อสร้าง EMBEDDINGS และคงอยู่ในฐานข้อมูล
• Query Embeddings : ใช้ฟังก์ชั่น run_query เพื่อสืบค้นฐานข้อมูลสำหรับเพื่อนบ้านที่ใกล้ที่สุดตามการฝังเวกเตอร์

การทดสอบ

ที่เก็บรวมถึงชุดทดสอบที่ครอบคลุมเพื่อให้แน่ใจว่าระบบทำงานได้อย่างถูกต้อง เพื่อเรียกใช้การทดสอบ:

cargo test 

การบริจาค

ยินดีต้อนรับ! โปรดอ่านไฟล์ที่มีส่วนร่วม MD สำหรับรายละเอียดเกี่ยวกับวิธีการมีส่วนร่วมในโครงการนี้

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT - ดูไฟล์ใบอนุญาตสำหรับรายละเอียด

---

อย่าลังเลที่จะปรับแต่ง readme นี้เพิ่มเติมตามความต้องการเฉพาะและรายละเอียดโครงการของคุณ