embed pg

Incrustado

InScEDPG es un servicio de API Node.js que utiliza PostgreSQL con la extensión pgvector . Ayuda a almacenar y buscar datos de vectores en una base de datos. Este proyecto es una versión temprana para ver si es útil para las personas.

Motivación

Las bases de datos vectoriales son realmente útiles pero a menudo caras y restringidas. Creé InScEDPG para hacer estas bases de datos más fáciles y más baratas de usar. Funciona bien para diferentes tamaños de proyectos. El costo principal proviene del uso de servicios en la nube como PostgreSQL y Servidor Space. INCREDPG lo ayuda a configurar una base de datos vectorial rápidamente con puntos finales de API fáciles de usar y una herramienta de línea de comandos.

Donde almacenamos incrustaciones

Almacenamos y buscamos incrustaciones utilizando PostgreSQL con la extensión PGVector. Puede encontrar PGVector aquí: PGVector en GitHub.

PGVector admite:

• Búsqueda exacta y aproximada del vecino más cercano
• Diferentes tipos de vectores: precisión única, medios precisión, vectores binarios y escasos
• Varias medidas de distancia: L2, Producto Interior, Cosine, L1, Hamming y Jaccard Distancias

Soluciones en la nube que admiten PGVector

Sí, hay soluciones en la nube que admiten PGVector:

1. AWS RDS - Aprende más
2. Google Cloud - Leer más

Tecnologías y paquetes utilizados

InScEDPG aprovecha varias tecnologías y paquetes clave para ofrecer su funcionalidad:

• Express.js : un marco de aplicaciones web Node.js mínimas y flexibles que proporciona un conjunto robusto de características para aplicaciones web y móviles. Express.js se usa para manejar el enrutamiento y el middleware en IncredPG.
• TypeScript : un superconjunto de JavaScript estáticamente escrito que se compila en JavaScript simple. TypeScript mejora la calidad del código y la productividad del desarrollador con seguridad de tipo y características modernas de JavaScript.
• Mikroorm : un ORM (mapeador de objetos relacionales) para TypeScript y JavaScript, inspirado en el marco y la doctrina de la entidad. Ayuda a administrar las operaciones de la base de datos y admite PostgreSQL, SQLite, MySQL y MongoDB.
• Zod : una biblioteca de declaración y validación de esquema TypeScript-First. Zod se usa para validar la forma y el tipo de datos en tiempo de ejecución, asegurando el manejo de datos robusto y sin errores.

Instalación y desarrollo

Requisitos previos

Antes de comenzar el proceso de instalación, asegúrese de tener los siguientes requisitos previos instalados:

1. La última versión estable de Node.js : descargue desde el sitio oficial de Node.js.
2. Manager de paquetes PNPM : instálelo ejecutando npm install -g pnpm .

Configuración de PostgreSQL con PGVector

INCREDPG requiere PostgreSQL con la extensión pgvector . Puedes configurar esto usando:

• El repositorio oficial pgvector disponible en PGVector en GitHub.
• Una versión bifurcada que incluye una configuración de Docker para una instalación más fácil, disponible en mi repositorio: Arisrayelyan/PgVector en GitHub.
• O use mi imagen Docker: Arisrayelyan/Pgvector en Docker Hub.

Uso de Docker Image (solo desarrollo)

 # Pull the Docker image
docker pull arisrayelyan/pgvector:latest
# Run the Docker container
docker run -d 
--name pgvector 
-e POSTGRES_PASSWORD=postgres 
-e POSTGRES_USER=postgres 
-e POSTGRES_DB=postgres 
-p 5432:5432 arisrayelyan/pgvector

Pasos de instalación

1. Clon el repositorio de incrustación

   git [email protected]:arisrayelyan/embed-pg.git

2. Navegue al directorio del proyecto

    cd embed-pg

3. Instalar dependencias

    pnpm install

4. Configurar variables de entorno

   Copie el archivo .env.example a .env y establezca las variables de entorno según sea necesario.

Variables de entorno disponibles

 # General Settings
NODE_ENV=development

# Database Configuration
DB_USERNAME=postgres
DB_PASSWORD=postgres
DB_NAME=postgres
DB_HOST=localhost
DB_PORT=5432

# Server Settings
PORT=3000
CORS_ORIGINS=http://localhost:3000 # Set the allowed origins for CORS

# OpenAI Configuration
OPENAI_API_KEY= " "
OPEN_AI_MODEL= " "
OPEN_AI_API_ENDPOINT= " "

Nota: Se requieren variables de entorno OpenAI cuando InSCREDPG necesita manejar las solicitudes de incrustación para usted.

Después de la instalación

Después de configurar sus variables de entorno e instalar IncredPG, está listo para configurar los componentes necesarios para que su servicio funcione de manera efectiva.

Comandos disponibles

• pnpm generate:collections : este comando inicia una herramienta de línea de comandos interactiva que lo guía a través de la generación de todos los componentes necesarios para cualquier nueva colección que desee agregar. Esto incluye servicios, puntos finales de API, entidades de bases de datos y migraciones, asegurando que su servicio de base de datos vectorial sea integral y esté listo para manejar las necesidades de datos específicas.
• pnpm generate:token : este comando genera un nuevo token API para su servicio, que puede usar para autenticar las solicitudes a su servicio IngredPG.
• pnpm start : inicie el servicio en modo de producción.
• pnpm build : Cree la aplicación para la producción.
• pnpm dev : inicie el servicio en modo de desarrollo y aplique migraciones de bases de datos.
• pnpm dev:db migration : aplique migraciones de bases de datos en modo de desarrollo.
  • --create Flag crea un nuevo archivo de migración.
  • -La bandera --up aplica todas las migraciones pendientes.
  • --down bandera hacia abajo vuelve a la última migración.
  • --to bandera aplica todas las migraciones hasta una migración específica.
• pnpm db migration : aplique migraciones de bases de datos en modo de producción. Use las mismas banderas que en el modo de desarrollo.
• pnpm lint : verifique el código fuente de los errores de estilo y programación.
• pnpm lint:fix : corrige automáticamente los errores de pelusa en el código fuente.

Acerca de los archivos generados

Cuando genera una nueva colección, InScEDPG crea los siguientes archivos:

1. Servicio : un archivo de servicio que contiene toda la lógica comercial para la colección.
2. El punto final API : un archivo de punto final API que contiene todas las rutas para la colección.
3. Entidad : un archivo de entidad que define el esquema de la base de datos para la colección.
4. Migración : un archivo de migración que contiene las consultas SQL para crear la tabla de la base de datos para la colección.
5. Actualiza algunos archivos en el directorio src para incluir los nuevos archivos.

Nota : Puede personalizar los archivos generados para satisfacer sus necesidades específicas. Pero no elimine el ! embedPg Comentario de ! embedPg en los archivos, ya que InScEDPG usa esto para identificar los archivos generados.

Documentación de API

Aquí está la documentación de API para InScEDPG.

Despliegue

Antes de implementar incrustado en un entorno de producción, asegúrese de haber configurado las variables y configuraciones de entorno necesarias. También asegúrese de ejecutar PostgreSQL con la extensión pgvector (consulte Sección de soluciones en la nube que admiten PGVector ).

Ejecute el siguiente comando para crear la aplicación para la producción:

pnpm build

Después de completar la compilación, tendrá un directorio dist con el código compilado. Implemente este código en su servidor y ejecute el siguiente comando para iniciar el servicio:

Al principio, ejecute las migraciones de la base de datos:

pnpm prod:db migration --up

Genere un nuevo token API:

pnpm generate:token

Luego comience el servicio:

pnpm start

Implementación de Docker

También puede implementar incrusco usando Docker.

Construya la imagen Docker ( nota: asegúrese de haber configurado las variables de entorno necesarias):

./scripts/build-server.sh

TODO's

1. Agregue cobertura de prueba.
2. Mejorar la documentación.
3. Mejorar la funcionalidad de búsqueda de metadatos, implementar más operadores.
4. Agregue la documentación de Swagger y genere automáticamente con la generación de colecciones.
5. Agregue scripts de implementación para diferentes proveedores de nubes.

Licencia

Este proyecto tiene licencia bajo la licencia MIT. Consulte el archivo de licencia para obtener más detalles.

Que contribuye

¡Gracias por su interés en contribuir a InScEDPG! Consulte el archivo Contriping.MD para las pautas sobre cómo contribuir al proyecto.