หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

EMBEDPG

EMBEDPG

EMBEDPG เป็นบริการ NODE.JS API ที่ใช้ PostgreSQL พร้อมส่วนขยาย pgvector ช่วยจัดเก็บและค้นหาข้อมูลเวกเตอร์ในฐานข้อมูล โครงการนี้เป็นรุ่นแรก ๆ เพื่อดูว่าเป็นประโยชน์สำหรับผู้คนหรือไม่

แรงจูงใจ

ฐานข้อมูลเวกเตอร์มีประโยชน์จริง ๆ แต่มักจะมีราคาแพงและถูก จำกัด ฉันสร้าง EMBEDPG เพื่อให้ฐานข้อมูลเหล่านี้ง่ายขึ้นและใช้งานง่ายกว่า มันทำงานได้ดีสำหรับโครงการขนาดต่าง ๆ ค่าใช้จ่ายหลักมาจากการใช้บริการคลาวด์เช่น PostgreSQL และพื้นที่เซิร์ฟเวอร์ EMBEDPG ช่วยให้คุณตั้งค่าฐานข้อมูลเวกเตอร์ได้อย่างรวดเร็วด้วยจุดสิ้นสุด API ที่ใช้งานง่ายและเครื่องมือบรรทัดคำสั่ง

ที่ที่เราจัดเก็บ embeddings

เราจัดเก็บและค้นหา embeddings โดยใช้ PostgreSQL พร้อมส่วนขยาย PGVector คุณสามารถค้นหา pgvector ได้ที่นี่: pgvector บน gitHub

PgVector รองรับ:

  • การค้นหาเพื่อนบ้านที่ใกล้ที่สุดและใกล้เคียง
  • ประเภทเวกเตอร์ที่แตกต่างกัน: ความแม่นยำเดียว, ความแม่นยำครึ่ง, ไบนารีและเวกเตอร์เบาบาง
  • มาตรการระยะทางที่หลากหลาย: L2, ผลิตภัณฑ์ภายใน, โคไซน์, L1, Hamming และ Jaccard ระยะทาง

โซลูชันคลาวด์ที่รองรับ pgVector

ใช่มีโซลูชันคลาวด์ที่รองรับ pgVector:

  1. AWS RDS - เรียนรู้เพิ่มเติม
  2. Google Cloud - อ่านเพิ่มเติม

เทคโนโลยีและแพ็คเกจที่ใช้

EMBEDPG ใช้ประโยชน์จากเทคโนโลยีที่สำคัญหลายอย่างและแพ็คเกจเพื่อส่งมอบฟังก์ชั่น:

  • Express.js : เฟรมเวิร์กเว็บแอปพลิเคชันที่มีความยืดหยุ่นน้อยที่สุดและยืดหยุ่นซึ่งมีชุดคุณสมบัติที่แข็งแกร่งสำหรับเว็บและแอปพลิเคชันมือถือ Express.js ใช้ในการจัดการการกำหนดเส้นทางและมิดเดิลแวร์ใน EMBEDPG
  • TypeScript : superset ที่พิมพ์แบบคงที่ของ JavaScript ที่รวบรวมเป็นจาวาสคริปต์ธรรมดา TypeScript ช่วยเพิ่มคุณภาพของรหัสและประสิทธิภาพการทำงานของนักพัฒนาด้วยความปลอดภัยประเภทและคุณสมบัติ JavaScript ที่ทันสมัย
  • Mikroorm : ORM (Mapper Object-Relational) สำหรับ TypeScript และ JavaScript ซึ่งได้รับแรงบันดาลใจจาก Framework Entity และหลักคำสอน ช่วยในการจัดการการดำเนินงานฐานข้อมูลและรองรับ PostgreSQL, SQLite, MySQL และ MongoDB
  • ZOD : การประกาศสคีมา TypeScript-First และไลบรารีการตรวจสอบความถูกต้อง ZOD ใช้สำหรับตรวจสอบความถูกต้องของรูปร่างและประเภทของข้อมูลที่รันไทม์ทำให้มั่นใจได้ว่าการจัดการข้อมูลที่แข็งแกร่งและปราศจากข้อผิดพลาด

การติดตั้งและพัฒนา

ข้อกำหนดเบื้องต้น

ก่อนที่คุณจะเริ่มกระบวนการติดตั้งตรวจสอบให้แน่ใจว่าคุณมีการติดตั้งสิ่งที่จำเป็นต้องมีดังต่อไปนี้:

  1. เวอร์ชันล่าสุดของ Node.js - ดาวน์โหลดจากเว็บไซต์ทางการของ Node.js
  2. PNPM Package Manager - ติดตั้งโดยเรียกใช้ npm install -g pnpm

การตั้งค่า postgreSQL ด้วย pgVector

EMBEDPG ต้องการ PostgreSQL พร้อมส่วนขยาย pgvector คุณสามารถตั้งค่านี้ได้โดยใช้:

  • พื้นที่เก็บข้อมูลอย่างเป็นทางการ pgvector มีอยู่ที่ PGVector บน GitHub
  • เวอร์ชันฟอร์คที่มีการตั้งค่า Docker เพื่อการติดตั้งที่ง่ายขึ้นมีอยู่ที่ที่เก็บของฉัน: Arisrayelyan/PgVector บน GitHub
  • หรือใช้อิมเมจนักเทียบท่าของฉัน: Arisrayelyan/pgvector บน Docker Hub

ใช้อิมเมจนักเทียบท่า (การพัฒนาเท่านั้น) 

 # Pull the Docker image
docker pull arisrayelyan/pgvector:latest
# Run the Docker container
docker run -d 
--name pgvector 
-e POSTGRES_PASSWORD=postgres 
-e POSTGRES_USER=postgres 
-e POSTGRES_DB=postgres 
-p 5432:5432 arisrayelyan/pgvector

ขั้นตอนการติดตั้ง

  1. โคลนที่เก็บข้อมูล EMBEDPG 

    git [email protected]:arisrayelyan/embed-pg.git

  2. นำทางไปยังไดเรกทอรีโครงการ 

     cd embed-pg

  3. ติดตั้งการพึ่งพา 

     pnpm install

  4. ตั้งค่าตัวแปรสภาพแวดล้อม

    คัดลอกไฟล์ .env.example ไปที่ .env และตั้งค่าตัวแปรสภาพแวดล้อมตามต้องการ

ตัวแปรสภาพแวดล้อมที่มีอยู่ 

 # General Settings
NODE_ENV=development

# Database Configuration
DB_USERNAME=postgres
DB_PASSWORD=postgres
DB_NAME=postgres
DB_HOST=localhost
DB_PORT=5432

# Server Settings
PORT=3000
CORS_ORIGINS=http://localhost:3000 # Set the allowed origins for CORS

# OpenAI Configuration
OPENAI_API_KEY= " "
OPEN_AI_MODEL= " "
OPEN_AI_API_ENDPOINT= " "

หมายเหตุ: จำเป็นต้องใช้ตัวแปรสภาพแวดล้อม OpenAI เมื่อ EMBEDPG ต้องการจัดการคำขอฝังสำหรับคุณ

หลังการติดตั้ง

หลังจากตั้งค่าตัวแปรสภาพแวดล้อมของคุณและติดตั้ง EMBEDPG คุณพร้อมที่จะตั้งค่าส่วนประกอบที่จำเป็นสำหรับบริการของคุณเพื่อให้บริการอย่างมีประสิทธิภาพ

คำสั่งที่มีอยู่

  • pnpm generate:collections : คำสั่งนี้เรียกใช้เครื่องมือบรรทัดคำสั่งแบบโต้ตอบที่จะแนะนำคุณผ่านการสร้างส่วนประกอบที่จำเป็นทั้งหมดสำหรับคอลเลกชันใหม่ที่คุณต้องการเพิ่ม ซึ่งรวมถึงบริการจุดสิ้นสุด API เอนทิตีฐานข้อมูลและการย้ายถิ่นเพื่อให้มั่นใจว่าบริการฐานข้อมูลเวกเตอร์ของคุณนั้นครอบคลุมและพร้อมที่จะจัดการกับความต้องการข้อมูลที่เฉพาะเจาะจง
  • pnpm generate:token : คำสั่งนี้สร้างโทเค็น API ใหม่สำหรับบริการของคุณซึ่งคุณสามารถใช้เพื่อตรวจสอบสิทธิ์คำขอไปยังบริการ EMBEDPG ของคุณ
  • pnpm start : เริ่มบริการในโหมดการผลิต
  • pnpm build : สร้างแอปพลิเคชันสำหรับการผลิต
  • pnpm dev : เริ่มบริการในโหมดการพัฒนาและใช้การย้ายฐานข้อมูล
  • pnpm dev:db migration : ใช้การโยกย้ายฐานข้อมูลในโหมดการพัฒนา
    • --create ธงสร้างไฟล์การโยกย้ายใหม่
    • -ธง --up ใช้การย้ายถิ่นทั้งหมดที่รอดำเนินการ
    • --down ธงลงม้วนการย้ายถิ่นครั้งล่าสุด
    • --to การตั้งค่าสถานะใช้การย้ายถิ่นทั้งหมดจนถึงการโยกย้ายที่เฉพาะเจาะจง
  • pnpm db migration : ใช้การย้ายฐานข้อมูลในโหมดการผลิต ใช้ธงเดียวกับในโหมดการพัฒนา
  • pnpm lint : ตรวจสอบซอร์สโค้ดสำหรับข้อผิดพลาดสไตล์และการเขียนโปรแกรม
  • pnpm lint:fix : แก้ไขข้อผิดพลาดของผ้าสำลีในซอร์สโค้ดโดยอัตโนมัติ

เกี่ยวกับไฟล์ที่สร้างขึ้น

เมื่อคุณสร้างคอลเลกชันใหม่ EMBEDPG จะสร้างไฟล์ต่อไปนี้:

  1. บริการ : ไฟล์บริการที่มีตรรกะทางธุรกิจทั้งหมดสำหรับการรวบรวม
  2. จุดสิ้นสุด API : ไฟล์จุดปลาย API ที่มีเส้นทางทั้งหมดสำหรับการรวบรวม
  3. เอนทิตี : ไฟล์เอนทิตีที่กำหนดสคีมาฐานข้อมูลสำหรับการรวบรวม
  4. การโยกย้าย : ไฟล์การโยกย้ายที่มีคิวรี SQL เพื่อสร้างตารางฐานข้อมูลสำหรับการรวบรวม
  5. อัปเดตไฟล์บางไฟล์ในไดเรกทอรี src เพื่อรวมไฟล์ใหม่

หมายเหตุ : คุณสามารถปรับแต่งไฟล์ที่สร้างขึ้นเพื่อให้เหมาะกับความต้องการเฉพาะของคุณ แต่อย่าลบ ! embedPg ความคิดเห็น ! embedPg ในไฟล์เนื่องจาก EMBEDPG ใช้สิ่งนี้เพื่อระบุไฟล์ที่สร้างขึ้น

เอกสาร API

นี่คือเอกสาร API สำหรับ EMBEDPG

การปรับใช้

ก่อนที่จะปรับใช้ EMBEDPG กับสภาพแวดล้อมการผลิตให้แน่ใจว่าคุณได้ตั้งค่าตัวแปรสภาพแวดล้อมและการกำหนดค่าที่จำเป็น ตรวจสอบให้แน่ใจว่าคุณกำลังใช้งาน PostgreSQL ด้วยส่วนขยาย pgvector (ดูส่วน โซลูชันคลาวด์ที่รองรับ PGVector )

เรียกใช้คำสั่งต่อไปนี้เพื่อสร้างแอปพลิเคชันสำหรับการผลิต: 

pnpm build

หลังจากบิลด์เสร็จสมบูรณ์คุณจะมีไดเรกทอรี dist พร้อมรหัสที่รวบรวม ปรับใช้รหัสนี้ไปยังเซิร์ฟเวอร์ของคุณและเรียกใช้คำสั่งต่อไปนี้เพื่อเริ่มบริการ:

ในตอนแรกเรียกใช้การย้ายฐานข้อมูล: 

pnpm prod:db migration --up

สร้างโทเค็น API ใหม่: 

pnpm generate:token

จากนั้นเริ่มบริการ: 

pnpm start

การปรับใช้ Docker

นอกจากนี้คุณยังสามารถปรับใช้ EMBEDPG โดยใช้ Docker

สร้างอิมเมจนักเทียบท่า ( หมายเหตุ: ตรวจสอบให้แน่ใจว่าคุณได้ตั้งค่าตัวแปรสภาพแวดล้อมที่จำเป็น): 

./scripts/build-server.sh

สิ่งที่ต้องทำ

  1. เพิ่มความครอบคลุมการทดสอบ
  2. ปรับปรุงเอกสาร
  3. ปรับปรุงฟังก์ชั่นการค้นหาข้อมูลเมตาใช้ตัวดำเนินการมากขึ้น
  4. เพิ่มเอกสาร Swagger และสร้างโดยอัตโนมัติด้วยการสร้างคอลเลกชัน
  5. เพิ่มสคริปต์การปรับใช้สำหรับผู้ให้บริการคลาวด์ที่แตกต่างกัน

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT ดูไฟล์ใบอนุญาตสำหรับรายละเอียด

การบริจาค

ขอบคุณสำหรับความสนใจในการสนับสนุน EMBEDPG! ดูไฟล์ MD ที่มีส่วนร่วมสำหรับแนวทางเกี่ยวกับวิธีการมีส่วนร่วมในโครงการ

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด