embed pg

Embedpg

ENGEDPG est un service API Node.js qui utilise PostgreSQL avec l'extension pgvector . Il aide à stocker et à rechercher des données vectorielles dans une base de données. Ce projet est une première version pour voir s'il est utile pour les gens.

Motivation

Les bases de données vectorielles sont vraiment utiles mais souvent coûteuses et restreintes. J'ai créé ENGEDPG pour rendre ces bases de données plus faciles et moins chères à utiliser. Il fonctionne bien pour différentes tailles de projets. Le coût principal provient de l'utilisation de services cloud comme PostgreSQL et de l'espace serveur. ENGEDPG vous aide à configurer rapidement une base de données vectorielle avec des points de terminaison API faciles à utiliser et un outil de ligne de commande.

Où nous stockons des intégres

Nous stockons et recherchons des incorporations à l'aide de PostgreSQL avec l'extension PGVector. Vous pouvez trouver PGVector ici: PGVector sur GitHub.

PGVector support:

• Recherche exacte et approximative du voisin le plus proche
• Différents types de vecteurs: vecteurs à une seule précision, demi-précision, binaire et clairsemé
• Diverses mesures de distance: L2, produit intérieur, cosinus, L1, Hamming et Jaccard Distances

Solutions cloud soutenant PGVector

Oui, il existe des solutions cloud qui prennent en charge PGVector:

1. AWS RDS - en savoir plus
2. Google Cloud - Lire la suite

Technologies et packages utilisés

ENGEDPG exploite plusieurs technologies et packages clés pour fournir ses fonctionnalités:

• Express.js : un cadre d'applications Web Node.js minimal et flexible qui fournit un ensemble robuste de fonctionnalités pour les applications Web et mobiles. Express.js est utilisé pour gérer le routage et le middleware dans ENGEDPG.
• TypeScript : un sur-ensemble dactylographié statiquement de JavaScript qui compile en JavaScript simple. TypeScript améliore la qualité du code et la productivité des développeurs avec la sécurité du type et les fonctionnalités JavaScript modernes.
• Mikroorm : un ORM (mappeur d'objet-relation) pour TypeScript et JavaScript, inspiré par le cadre d'entité et la doctrine. Il aide à gérer les opérations de la base de données et prend en charge PostgreSQL, SQLite, MySQL et MongoDB.
• ZOD : une bibliothèque de schéma et de validation de schéma TypeScriptrict-First. ZOD est utilisé pour valider la forme et le type des données au moment de l'exécution, garantissant une manipulation robuste et sans erreur de données.

Installation et développement

Condition préalable

Avant de commencer le processus d'installation, assurez-vous que les conditions préalables suivantes sont installées:

1. La dernière version stable de Node.js - Téléchargez-la à partir du site officiel de Node.js.
2. PNPM Package Manager - Installez-le en exécutant npm install -g pnpm .

Configuration de PostgreSQL avec PGVector

ENGEDPG nécessite PostgreSQL avec l'extension pgvector . Vous pouvez configurer ceci en utilisant:

• Le référentiel pgvector officiel disponible sur PGVector sur GitHub.
• Une version fourchue qui comprend une configuration Docker pour une installation plus facile, disponible dans mon référentiel: Arisrayelyan / pgvector sur github.
• Ou utilisez mon image docker: Arisrayelyan / pgvector sur Docker Hub.

Utilisation de l'image Docker (développement uniquement)

 # Pull the Docker image
docker pull arisrayelyan/pgvector:latest
# Run the Docker container
docker run -d 
--name pgvector 
-e POSTGRES_PASSWORD=postgres 
-e POSTGRES_USER=postgres 
-e POSTGRES_DB=postgres 
-p 5432:5432 arisrayelyan/pgvector

Étapes d'installation

1. Cloner le référentiel EmbedPG

   git [email protected]:arisrayelyan/embed-pg.git

2. Accédez à l'annuaire du projet

    cd embed-pg

3. Installer des dépendances

    pnpm install

4. Configurer des variables d'environnement

   Copiez le fichier .env.example sur .env et définissez les variables d'environnement selon les besoins.

Variables d'environnement disponibles

 # General Settings
NODE_ENV=development

# Database Configuration
DB_USERNAME=postgres
DB_PASSWORD=postgres
DB_NAME=postgres
DB_HOST=localhost
DB_PORT=5432

# Server Settings
PORT=3000
CORS_ORIGINS=http://localhost:3000 # Set the allowed origins for CORS

# OpenAI Configuration
OPENAI_API_KEY= " "
OPEN_AI_MODEL= " "
OPEN_AI_API_ENDPOINT= " "

Remarque: Des variables d'environnement OpenAI sont requises lorsque ENCEDPG doit gérer les demandes d'intégration pour vous.

Post-installation

Après avoir configuré vos variables d'environnement et installé ENGEDPG, vous êtes prêt à configurer les composants nécessaires pour que votre service fonctionne efficacement.

Commandes disponibles

• pnpm generate:collections : Cette commande lance un outil de ligne de commande interactif qui vous guide en générant tous les composants nécessaires pour toute nouvelle collection que vous souhaitez ajouter. Cela inclut les services, les points de terminaison API, les entités de base de données et les migrations, garantissant que votre service de base de données vectorielle est complet et prêt à répondre aux besoins de données spécifiques.
• pnpm generate:token : Cette commande génère un nouveau jeton API pour votre service, que vous pouvez utiliser pour authentifier les demandes à votre service ENGEDPG.
• pnpm start : Démarrez le service en mode de production.
• pnpm build : Créez l'application de production.
• pnpm dev : Démarrez le service en mode développement et appliquez des migrations de base de données.
• pnpm dev:db migration : appliquer les migrations de la base de données en mode développement.
  • --create un drapeau crée un nouveau fichier de migration.
  • --up drapeau applique toutes les migrations en attente.
  • --down Flag recule la dernière migration.
  • --to Flag applique toutes les migrations jusqu'à une migration spécifique.
• pnpm db migration : appliquez les migrations de la base de données en mode de production. Utilisez les mêmes drapeaux que en mode développement.
• pnpm lint : Vérifiez le code source pour les erreurs de style et de programmation.
• pnpm lint:fix : Correction automatique des erreurs de liaison dans le code source.

À propos des fichiers générés

Lorsque vous générez une nouvelle collection, ENGEDPG crée les fichiers suivants:

1. Service : un fichier de service qui contient toute la logique métier pour la collection.
2. Point de terminaison de l'API : un fichier de point de terminaison API qui contient tous les itinéraires pour la collection.
3. Entité : un fichier d'entité qui définit le schéma de base de données pour la collection.
4. Migration : un fichier de migration qui contient les requêtes SQL pour créer la table de base de données pour la collection.
5. Met à jour certains fichiers dans le répertoire src pour inclure les nouveaux fichiers.

Remarque : vous pouvez personnaliser les fichiers générés en fonction de vos besoins spécifiques. Mais ne supprimez pas le ! embedPg Commentaire dans les fichiers, car ENGEDPG l'utilise pour identifier les fichiers générés.

Documentation API

Voici la documentation de l'API pour ENGEDPG.

Déploiement

Avant de déployer ENGEDPG dans un environnement de production, assurez-vous d'avoir configuré les variables et configurations d'environnement nécessaires. Assurez-vous également que vous exécutez PostgreSQL avec l'extension pgvector (voir la section Solutions Cloud Solutions en prenant en charge PGVector ).

Exécutez la commande suivante pour créer l'application de production:

pnpm build

Une fois la construction terminée, vous aurez un répertoire dist avec le code compilé. Déployez ce code sur votre serveur et exécutez la commande suivante pour démarrer le service:

Exécutez d'abord les migrations de la base de données:

pnpm prod:db migration --up

Générer un nouveau jeton API:

pnpm generate:token

Puis démarrez le service:

pnpm start

Déploiement de Docker

Vous pouvez également déployer ENGEDPG à l'aide de Docker.

Construisez l'image Docker ( Remarque: assurez-vous que vous avez configuré les variables d'environnement nécessaires):

./scripts/build-server.sh

Todo

1. Ajouter une couverture de test.
2. Améliorer la documentation.
3. Améliorez la fonctionnalité de recherche de métadonnées, implémentez plus d'opérateurs.
4. Ajoutez la documentation Swagger et générez-la automatiquement avec la génération de collection.
5. Ajoutez des scripts de déploiement pour différents fournisseurs de cloud.

Licence

Ce projet est autorisé sous la licence du MIT. Voir le fichier de licence pour plus de détails.

Contributif

Merci de votre intérêt à contribuer à ENGEDPG! Voir le fichier contribution.md pour les directives sur la façon de contribuer au projet.