embed pg

Embedpg

Embedpg adalah layanan API Node.js yang menggunakan PostgreSQL dengan ekstensi pgvector . Ini membantu menyimpan dan mencari data vektor dalam database. Proyek ini adalah versi awal untuk melihat apakah itu berguna bagi orang -orang.

Motivasi

Database vektor sangat berguna tetapi seringkali mahal dan dibatasi. Saya membuat embedpg untuk membuat basis data ini lebih mudah dan lebih murah untuk digunakan. Ini bekerja dengan baik untuk berbagai ukuran proyek. Biaya utama berasal dari menggunakan layanan cloud seperti postgresql dan ruang server. EmbedPG membantu Anda mengatur database vektor dengan cepat dengan titik akhir API yang mudah digunakan dan alat baris perintah.

Di mana kami menyimpan embeddings

Kami menyimpan dan mencari embeddings menggunakan PostgreSQL dengan ekstensi pgvektor. Anda dapat menemukan pgvector di sini: pgvector di github.

PGVECTOR DUKUNGAN:

• Tepat dan mendekati pencarian tetangga terdekat
• Jenis vektor yang berbeda: vektor presisi tunggal, setengah presisi, biner, dan jarang
• Berbagai ukuran jarak: L2, produk dalam, cosinus, L1, hamming, dan jarak jaccard

Solusi cloud yang mendukung pgvector

Ya, ada solusi cloud yang mendukung pgvector:

1. AWS RDS - Pelajari lebih lanjut
2. Google Cloud - Baca lebih lanjut

Teknologi dan paket yang digunakan

Embedpg memanfaatkan beberapa teknologi dan paket utama untuk memberikan fungsinya:

• Express.js : Kerangka kerja aplikasi web Node.js yang minim dan fleksibel yang menyediakan serangkaian fitur yang kuat untuk aplikasi web dan seluler. Express.js digunakan untuk menangani perutean dan middleware di embedpg.
• TypeScript : Superset JavaScript yang diketik secara statis yang dikompilasi ke JavaScript biasa. TypeScript meningkatkan kualitas kode dan produktivitas pengembang dengan keamanan tipe dan fitur JavaScript modern.
• Mikroorm : ORM (mapper objek-relasional) untuk naskah dan javascript, terinspirasi oleh kerangka kerja entitas dan doktrin. Ini membantu dalam mengelola operasi basis data dan mendukung PostgreSQL, SQLite, MySQL, dan MongoDB.
• ZOD : Perpustakaan Deklarasi dan Validasi Skema First-TypeScript. Zod digunakan untuk memvalidasi bentuk dan jenis data saat runtime, memastikan penanganan data yang kuat dan bebas kesalahan.

Instalasi dan Pengembangan

Prasyarat

Sebelum Anda memulai proses instalasi, pastikan bahwa Anda memiliki prasyarat berikut yang diinstal:

1. Versi stabil terbaru dari Node.js - Unduh dari situs resmi Node.js.
2. PNPM Paket Manager - Instal dengan menjalankan npm install -g pnpm .

Menyiapkan PostgreSQL dengan PGVector

Embedpg membutuhkan postgresql dengan ekstensi pgvector . Anda dapat mengatur ini menggunakan:

• Repositori pgvector resmi tersedia di PGVector di GitHub.
• Versi bercabang yang mencakup pengaturan Docker untuk instalasi yang lebih mudah, tersedia di Repositori saya: Arisrayelyan/pgvector di GitHub.
• Atau gunakan gambar Docker saya: Arisrayelyan/PGVector di Docker Hub.

Menggunakan gambar Docker (hanya pengembangan)

 # Pull the Docker image
docker pull arisrayelyan/pgvector:latest
# Run the Docker container
docker run -d 
--name pgvector 
-e POSTGRES_PASSWORD=postgres 
-e POSTGRES_USER=postgres 
-e POSTGRES_DB=postgres 
-p 5432:5432 arisrayelyan/pgvector

Langkah Instalasi

1. Klon repositori embedpg

   git [email protected]:arisrayelyan/embed-pg.git

2. Arahkan ke Direktori Proyek

    cd embed-pg

3. Instal dependensi

    pnpm install

4. Mengatur variabel lingkungan

   Salin file .env.example ke .env dan atur variabel lingkungan sesuai kebutuhan.

Variabel lingkungan yang tersedia

 # General Settings
NODE_ENV=development

# Database Configuration
DB_USERNAME=postgres
DB_PASSWORD=postgres
DB_NAME=postgres
DB_HOST=localhost
DB_PORT=5432

# Server Settings
PORT=3000
CORS_ORIGINS=http://localhost:3000 # Set the allowed origins for CORS

# OpenAI Configuration
OPENAI_API_KEY= " "
OPEN_AI_MODEL= " "
OPEN_AI_API_ENDPOINT= " "

Catatan: Variabel lingkungan openai diperlukan saat embedpg perlu menangani permintaan embedding untuk Anda.

Pasca-instalasi

Setelah menyiapkan variabel lingkungan Anda dan memasang embedPG, Anda siap mengatur komponen yang diperlukan agar layanan Anda beroperasi secara efektif.

Perintah yang tersedia

• pnpm generate:collections : Perintah ini meluncurkan alat baris perintah interaktif yang memandu Anda melalui menghasilkan semua komponen yang diperlukan untuk setiap koleksi baru yang ingin Anda tambahkan. Ini termasuk layanan, titik akhir API, entitas basis data, dan migrasi, memastikan layanan basis data vektor Anda komprehensif dan siap menangani kebutuhan data tertentu.
• pnpm generate:token : Perintah ini menghasilkan token API baru untuk layanan Anda, yang dapat Anda gunakan untuk mengotentikasi permintaan ke layanan embedPG Anda.
• pnpm start : Mulai Layanan dalam Mode Produksi.
• pnpm build : Bangun Aplikasi untuk Produksi.
• pnpm dev : Mulai layanan dalam mode pengembangan dan terapkan migrasi basis data.
• pnpm dev:db migration : Terapkan migrasi basis data dalam mode pengembangan.
  • --create Flag membuat file migrasi baru.
  • Bendera --up menerapkan semua migrasi yang tertunda.
  • --down Flag menggulung migrasi terakhir.
  • --to bendera menerapkan semua migrasi hingga migrasi tertentu.
• pnpm db migration : Terapkan migrasi basis data dalam mode produksi. Gunakan bendera yang sama seperti dalam mode pengembangan.
• pnpm lint : Periksa kode sumber untuk kesalahan gaya dan pemrograman.
• pnpm lint:fix : Secara otomatis memperbaiki kesalahan serat dalam kode sumber.

Tentang file yang dihasilkan

Saat Anda menghasilkan koleksi baru, embedPG membuat file berikut:

1. Layanan : File layanan yang berisi semua logika bisnis untuk koleksi.
2. API Endpoint : File titik akhir API yang berisi semua rute untuk koleksi.
3. Entitas : File entitas yang mendefinisikan skema basis data untuk koleksi.
4. Migrasi : File migrasi yang berisi kueri SQL untuk membuat tabel database untuk koleksi.
5. Memperbarui beberapa file dalam direktori src untuk memasukkan file baru.

Catatan : Anda dapat menyesuaikan file yang dihasilkan agar sesuai dengan kebutuhan spesifik Anda. Tapi jangan lepaskan ! embedPg Komentar ! embedPg dalam file, karena embedpg menggunakan ini untuk mengidentifikasi file yang dihasilkan.

Dokumentasi API

Berikut adalah dokumentasi API untuk embedpg.

Penyebaran

Sebelum menggunakan embedpg ke lingkungan produksi, pastikan Anda telah mengatur variabel dan konfigurasi lingkungan yang diperlukan. Pastikan juga bahwa Anda menjalankan PostgreSQL dengan ekstensi pgvector (lihat bagian solusi cloud yang mendukung pgvektor ).

Jalankan perintah berikut untuk membangun aplikasi untuk produksi:

pnpm build

Setelah build selesai, Anda akan memiliki direktori dist dengan kode yang dikompilasi. Menyebarkan kode ini ke server Anda dan jalankan perintah berikut untuk memulai layanan:

Pada awalnya menjalankan migrasi basis data:

pnpm prod:db migration --up

Menghasilkan token API baru:

pnpm generate:token

Kemudian mulailah layanan:

pnpm start

Penyebaran Docker

Anda juga dapat menggunakan embedpg menggunakan Docker.

Bangun gambar Docker ( Catatan: Pastikan Anda telah mengatur variabel lingkungan yang diperlukan):

./scripts/build-server.sh

Todo's

1. Tambahkan cakupan tes.
2. Tingkatkan dokumentasi.
3. Meningkatkan fungsionalitas pencarian metadata, menerapkan lebih banyak operator.
4. Tambahkan dokumentasi Swagger dan hasilkan secara otomatis dengan pembuatan koleksi.
5. Tambahkan skrip penempatan untuk penyedia cloud yang berbeda.

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT. Lihat file lisensi untuk detailnya.

Berkontribusi

Terima kasih atas minat Anda untuk berkontribusi pada embedpg! Lihat file contributing.md untuk pedoman tentang cara berkontribusi pada proyek.