embed pg

Einbettung

EmbedPG ist ein Node.js -API -Dienst, der PostgreSQL mit der pgvector -Erweiterung verwendet. Es hilft, Vektordaten in einer Datenbank zu speichern und zu durchsuchen. Dieses Projekt ist eine frühe Version, um zu sehen, ob es für Menschen nützlich ist.

Motivation

Vektordatenbanken sind sehr nützlich, aber oft teuer und eingeschränkt. Ich habe EmbedPG erstellt, um diese Datenbanken einfacher und billiger zu verwenden. Es funktioniert gut für verschiedene Projektgrößen. Die Hauptkosten ergeben sich aus der Verwendung von Cloud -Diensten wie PostgreSQL und Server Space. Mithilfe von EmbedPG können Sie schnell eine Vektor-Datenbank mit benutzerfreundlichen API-Endpunkten und einem Befehlszeilen-Tool einrichten.

Wo wir Einbettung speichern

Wir speichern und suchen Einbettungen mit PostgreSQL mit der PGVector -Erweiterung. Hier finden Sie PGVector: PGVector auf GitHub.

PGVector unterstützt:

• Genaue und ungefähre Suche nach dem nächsten Nachbarn
• Verschiedene Vektortypen: Einzelprezision, Halbprezision, binäre und spärliche Vektoren
• Verschiedene Entfernungsmaßnahmen: L2, inneres Produkt, Cosinus, L1, Hamming und Jaccard -Entfernungen

Cloud -Lösungen, die PGVector unterstützen

Ja, es gibt Cloud -Lösungen, die PGVector unterstützen:

1. AWS RDS - mehr lernen
2. Google Cloud - Lesen Sie mehr

Technologien und Pakete verwendet

EinbettPG nutzt mehrere Schlüsseltechnologien und Pakete, um deren Funktionalität zu liefern:

• Express.js : Ein minimales und flexibler Node.js -Webanwendungs ​​-Framework, das eine robuste Reihe von Funktionen für Web- und Mobilanwendungen bietet. Express.js wird verwendet, um Routing und Middleware in EmbedPG zu verarbeiten.
• TypeScript : Ein statisch getipptes Superet von JavaScript, das zu einfacher JavaScript kompiliert. TypeScript verbessert die Codequalität und die Produktivität der Entwickler mit Typensicherheit und modernen JavaScript -Funktionen.
• Mikroorm : Ein ORM (Objekt-Relational Mapper) für TypeScript und JavaScript, inspiriert von Entity Framework und Doctrine. Es hilft bei der Verwaltung von Datenbankoperationen und unterstützt PostgreSQL, SQLite, MySQL und MongoDB.
• ZOD : Eine Typscript-First-Schema-Deklaration und Validierungsbibliothek. ZOD wird zur Validierung der Form und des Typs der Daten zur Laufzeit verwendet, um eine robuste und fehlerfreie Datenbearbeitung zu gewährleisten.

Installation und Entwicklung

Voraussetzungen

Stellen Sie vor Beginn des Installationsprozesses sicher, dass die folgenden Voraussetzungen installiert sind:

1. Die neueste stabile Version von node.js - Laden Sie sie von der offiziellen Site von node.js herunter.
2. PNPM Package Manager - Installieren Sie es, indem Sie npm install -g pnpm ausführen.

Einrichten von PostgreSQL mit PGVector

EmbedPG erfordert PostgreSQL mit der pgvector -Erweiterung. Sie können dies mit:

• Das offizielle pgvector -Repository, der bei PGVector auf GitHub verfügbar ist.
• Eine Forked -Version, die ein Docker -Setup für die einfachere Installation enthält, die in meinem Repository erhältlich ist: Arisrayelyan/PGVector auf GitHub.
• Oder verwenden Sie mein Docker -Image: Arisrayelyan/PGVector auf Docker Hub.

Verwenden von Docker -Bild (nur Entwicklung)

 # Pull the Docker image
docker pull arisrayelyan/pgvector:latest
# Run the Docker container
docker run -d 
--name pgvector 
-e POSTGRES_PASSWORD=postgres 
-e POSTGRES_USER=postgres 
-e POSTGRES_DB=postgres 
-p 5432:5432 arisrayelyan/pgvector

Installationsschritte

1. Klonen Sie das EmbedPG -Repository

   git [email protected]:arisrayelyan/embed-pg.git

2. Navigieren Sie zum Projektverzeichnis

    cd embed-pg

3. Abhängigkeiten installieren

    pnpm install

4. Umgebungsvariablen einrichten

   Kopieren Sie die Datei .env.example in .env und setzen Sie die Umgebungsvariablen nach Bedarf fest.

Verfügbare Umgebungsvariablen

 # General Settings
NODE_ENV=development

# Database Configuration
DB_USERNAME=postgres
DB_PASSWORD=postgres
DB_NAME=postgres
DB_HOST=localhost
DB_PORT=5432

# Server Settings
PORT=3000
CORS_ORIGINS=http://localhost:3000 # Set the allowed origins for CORS

# OpenAI Configuration
OPENAI_API_KEY= " "
OPEN_AI_MODEL= " "
OPEN_AI_API_ENDPOINT= " "

HINWEIS: OpenAI -Umgebungsvariablen sind erforderlich, wenn einbettPG einbetten muss, um Anfragen für Sie zu verarbeiten.

Nachinstallation

Nach dem Einrichten Ihrer Umgebungsvariablen und der Installation von EmbedPG können Sie die Komponenten einrichten, die für Ihren Dienst erforderlich sind, um effektiv zu arbeiten.

Verfügbare Befehle

• pnpm generate:collections : Dieser Befehl startet ein interaktives Befehlszeilen -Tool, mit dem Sie alle erforderlichen Komponenten für jede neue Sammlung generieren möchten, die Sie hinzufügen möchten. Dies umfasst Dienste, API -Endpunkte, Datenbankentitäten und Migrationen, um sicherzustellen, dass Ihr Vektor -Datenbankdienst umfassend und bereit ist, bestimmte Datenanforderungen zu bearbeiten.
• pnpm generate:token : Dieser Befehl generiert ein neues API -Token für Ihren Dienst, mit dem Sie Anforderungen an Ihren EmbodePG -Dienst authentifizieren können.
• pnpm start : Starten Sie den Service im Produktionsmodus.
• pnpm build : Erstellen Sie die Anwendung für die Produktion.
• pnpm dev : Starten Sie den Dienst im Entwicklungsmodus und wenden Sie Datenbankmigrationen an.
• pnpm dev:db migration : Datenbankmigrationen im Entwicklungsmodus anwenden.
  • --create Flag erstellt eine neue Migrationsdatei.
  • --up Flagge wendet alle ausstehenden Migrationen an.
  • --down Abwärtsflagge rollt die letzte Migration zurück.
  • --to die Flagge wendet alle Migrationen auf eine bestimmte Migration an.
• pnpm db migration : Verwenden Sie Datenbankmigrationen im Produktionsmodus. Verwenden Sie dieselben Flags wie im Entwicklungsmodus.
• pnpm lint : Überprüfen Sie den Quellcode auf Stil- und Programmierfehler.
• pnpm lint:fix : Automatisch Fix -Lining -Fehler im Quellcode.

Über generierte Dateien

Wenn Sie eine neue Sammlung generieren, erstellt EmbedPG die folgenden Dateien:

1. Service : Eine Servicedatei, die die gesamte Geschäftslogik für die Sammlung enthält.
2. API -Endpunkt : Eine API -Endpunktdatei, die alle Routen für die Sammlung enthält.
3. Entität : Eine Entitätsdatei, die das Datenbankschema für die Sammlung definiert.
4. Migration : Eine Migrationsdatei, die die SQL -Abfragen enthält, um die Datenbanktabelle für die Sammlung zu erstellen.
5. Aktualisiert einige Dateien im src -Verzeichnis, um die neuen Dateien einzuschließen.

Hinweis : Sie können die generierten Dateien an Ihre spezifischen Anforderungen anpassen. Aber entfernen Sie die ! embedPg -Kommentar in den Dateien, wie inbredPG dies verwendet, um die generierten Dateien zu identifizieren.

API -Dokumentation

Hier ist die API -Dokumentation für EmbedPG.

Einsatz

Stellen Sie vor dem Bereitstellen von EmbedPG in eine Produktionsumgebung sicher, dass Sie die erforderlichen Umgebungsvariablen und -konfigurationen einrichten. Stellen Sie außerdem sicher, dass Sie PostgreSQL mit der pgvector -Erweiterung ausführen (siehe Abschnitt Cloud -Lösungen, die PGVector unterstützen ).

Führen Sie den folgenden Befehl aus, um die Anwendung für die Produktion zu erstellen:

pnpm build

Nach dem Erstellen haben Sie ein dist -Verzeichnis mit dem kompilierten Code. Stellen Sie diesen Code auf Ihrem Server bereit und führen Sie den folgenden Befehl aus, um den Dienst zu starten:

Führen Sie zunächst die Datenbankmigrationen aus:

pnpm prod:db migration --up

Generieren Sie ein neues API -Token:

pnpm generate:token

Dann starten Sie den Service:

pnpm start

Docker -Bereitstellung

Sie können auch EmbedPG mit Docker bereitstellen.

Erstellen Sie das Docker -Bild ( Hinweis: Stellen Sie sicher, dass Sie die erforderlichen Umgebungsvariablen einrichten):

./scripts/build-server.sh

Todo's

1. Testabdeckung hinzufügen.
2. Dokumentation verbessern.
3. Verbesserung der Metadaten -Suchfunktionen und mehr Operatoren implementieren.
4. Fügen Sie Swagger -Dokumentation hinzu und generieren Sie sie automatisch mit der Sammlungsgenerierung.
5. Fügen Sie Bereitstellungsskripte für verschiedene Cloud -Anbieter hinzu.

Lizenz

Dieses Projekt ist unter der MIT -Lizenz lizenziert. Weitere Informationen finden Sie in der Lizenzdatei.

Beitragen

Vielen Dank für Ihr Interesse, einen Beitrag zur EmbedPG zu leisten! In der Datei mit beitragen.md finden Sie Richtlinien zum Beitrag zum Projekt.