embed pg

INCEDPG

O INCEDPG é um serviço de API Node.js que usa o PostgreSQL com a extensão pgvector . Ajuda a armazenar e pesquisar dados vetoriais em um banco de dados. Este projeto é uma versão inicial para ver se é útil para as pessoas.

Motivação

Os bancos de dados vetoriais são realmente úteis, mas geralmente caros e restritos. Criei o INCEDPG para facilitar esses bancos de dados. Funciona bem para diferentes tamanhos de projetos. O custo principal vem do uso de serviços em nuvem como o PostgreSQL e o espaço do servidor. O INCEDPG ajuda você a configurar um banco de dados vetorial rapidamente com pontos de extremidade de API fácil de usar e uma ferramenta de linha de comando.

Onde armazenamos incorporações

Armazenamos e pesquisamos incorporações usando o PostgreSQL com a extensão PGVector. Você pode encontrar o PGVector aqui: PGVector no GitHub.

Suportes para PGVector :

• Pesquisa vizinha mais próxima e aproximada e aproximada
• Diferentes tipos de vetores: vetores de precisão única, meia precisão, binária e esparsa
• Várias medidas de distância: L2, Produto interno, Cosine, L1, Hamming e Jaccard Distâncias

Soluções em nuvem que suporta pgvector

Sim, existem soluções em nuvem que suportam o PGVector:

1. AWS RDS - Saiba mais
2. Google Cloud - Leia mais

Tecnologias e pacotes usados

INCEDPG Aproveita várias tecnologias e pacotes importantes para fornecer sua funcionalidade:

• Express.js : uma estrutura de aplicativos Node.JS mínimo e flexível que fornece um conjunto robusto de recursos para aplicativos da Web e móveis. O Express.js é usado para lidar com o roteamento e o middleware no incorporado.
• TypeScript : Um supereset estaticamente digitado de JavaScript que compila com JavaScript simples. O TypeScript aprimora a qualidade do código e a produtividade do desenvolvedor com a segurança do tipo e os modernos recursos JavaScript.
• Mikroorm : Um ORM (Mapper Relacional de Objetos) para TypeScript e JavaScript, inspirado pela estrutura e doutrina da entidade. Ajuda a gerenciar operações de banco de dados e suporta PostgreSQL, SQLite, MySQL e MongoDB.
• ZOD : uma biblioteca de validação e declaração de esquema de primeira linha. O Zod é usado para validar a forma e o tipo de dados no tempo de execução, garantindo manuseio de dados robusto e sem erros.

Instalação e desenvolvimento

Pré -requisitos

Antes de iniciar o processo de instalação, verifique se você possui os seguintes pré -requisitos instalados:

1. A mais recente versão estável do Node.js - Faça o download do site oficial do Node.js.
2. Gerenciador de pacotes PNPM - Instale -o executando npm install -g pnpm .

Configurando o PostgreSQL com PGVector

O INCEDPG requer PostgreSQL com a extensão pgvector . Você pode configurar isso usando:

• O repositório oficial pgvector disponível no PGVector no GitHub.
• Uma versão bifurcada que inclui uma configuração do Docker para facilitar a instalação, disponível no meu repositório: arisrayelyan/pgvector no github.
• Ou use minha imagem do Docker: Arisrayelyan/PGVector no Docker Hub.

Usando a imagem do Docker (somente desenvolvimento)

 # Pull the Docker image
docker pull arisrayelyan/pgvector:latest
# Run the Docker container
docker run -d 
--name pgvector 
-e POSTGRES_PASSWORD=postgres 
-e POSTGRES_USER=postgres 
-e POSTGRES_DB=postgres 
-p 5432:5432 arisrayelyan/pgvector

Etapas de instalação

1. Clone o repositório de incorporação

   git [email protected]:arisrayelyan/embed-pg.git

2. Navegue até o diretório do projeto

    cd embed-pg

3. Instalar dependências

    pnpm install

4. Configurar variáveis ​​de ambiente

   Copie o arquivo .env.example para .env e defina as variáveis ​​de ambiente, conforme necessário.

Variáveis ​​de ambiente disponíveis

 # General Settings
NODE_ENV=development

# Database Configuration
DB_USERNAME=postgres
DB_PASSWORD=postgres
DB_NAME=postgres
DB_HOST=localhost
DB_PORT=5432

# Server Settings
PORT=3000
CORS_ORIGINS=http://localhost:3000 # Set the allowed origins for CORS

# OpenAI Configuration
OPENAI_API_KEY= " "
OPEN_AI_MODEL= " "
OPEN_AI_API_ENDPOINT= " "

NOTA: As variáveis ​​de ambiente OpenAI são necessárias quando o incorporado precisar lidar com solicitações de incorporação para você.

Pós-instalação

Depois de configurar suas variáveis ​​de ambiente e instalar o INCEDPG, você está pronto para configurar os componentes necessários para que seu serviço opere efetivamente.

Comandos disponíveis

• pnpm generate:collections : Este comando inicia uma ferramenta de linha de comando interativa que o guia através da geração de todos os componentes necessários para qualquer nova coleção que você deseja adicionar. Isso inclui serviços, pontos de extremidade da API, entidades de banco de dados e migrações, garantindo que o seu serviço de banco de dados vetorial seja abrangente e pronto para lidar com necessidades de dados específicas.
• pnpm generate:token : Este comando gera um novo token de API para o seu serviço, que você pode usar para autenticar solicitações ao seu serviço de incorporação.
• pnpm start : Inicie o serviço no modo de produção.
• pnpm build : construa o aplicativo de produção.
• pnpm dev : Inicie o serviço no modo de desenvolvimento e aplique migrações de banco de dados.
• pnpm dev:db migration : aplique migrações de banco de dados no modo de desenvolvimento.
  • -O sinalizador --create cria um novo arquivo de migração.
  • -A bandeira --up aplica todas as migrações pendentes.
  • --down bandeira descendente volta a última migração.
  • --to bandeira aplica todas as migrações até uma migração específica.
• pnpm db migration : aplique migrações de banco de dados no modo de produção. Use os mesmos sinalizadores do modo de desenvolvimento.
• pnpm lint : verifique o código -fonte para obter erros de estilo e programação.
• pnpm lint:fix : Corrija automaticamente os erros de linha no código -fonte.

Sobre arquivos gerados

Quando você gera uma nova coleção, a INCEDPG cria os seguintes arquivos:

1. Serviço : um arquivo de serviço que contém toda a lógica de negócios da coleção.
2. Endpoint da API : um arquivo de terminal da API que contém todas as rotas da coleção.
3. Entidade : um arquivo de entidade que define o esquema de banco de dados para a coleção.
4. Migração : um arquivo de migração que contém as consultas SQL para criar a tabela de banco de dados para a coleção.
5. Atualiza alguns arquivos no diretório src para incluir os novos arquivos.

Nota : Você pode personalizar os arquivos gerados para atender às suas necessidades específicas. Mas não remova o ! embedPg COMENTÁRIO Nos arquivos, pois o INCEDPG usa isso para identificar os arquivos gerados.

Documentação da API

Aqui está a documentação da API para incorporarpg.

Implantação

Antes de implantar o INCEDPG em um ambiente de produção, verifique se você configurou as variáveis ​​e configurações de ambiente necessárias. Verifique também se você está executando o PostgreSQL com a extensão pgvector (consulte a Seção Cloud Solutions que suporta o PGVector ).

Execute o seguinte comando para criar o aplicativo de produção:

pnpm build

Depois que a construção estiver concluída, você terá um diretório dist com o código compilado. Implante este código no seu servidor e execute o seguinte comando para iniciar o serviço:

No início, execute as migrações de banco de dados:

pnpm prod:db migration --up

Gerar um novo token de API:

pnpm generate:token

Em seguida, inicie o serviço:

pnpm start

Implantação do Docker

Você também pode implantar o INCEDPG usando o Docker.

Crie a imagem do Docker ( Nota: verifique se você configurou as variáveis ​​de ambiente necessárias):

./scripts/build-server.sh

TODO

1. Adicione a cobertura do teste.
2. Melhorar a documentação.
3. Melhore a funcionalidade de pesquisa de metadados, implemente mais operadores.
4. Adicione a documentação do Swagger e gere -a automaticamente com a geração de coleções.
5. Adicione scripts de implantação para diferentes provedores de nuvem.

Licença

Este projeto está licenciado sob a licença do MIT. Consulte o arquivo de licença para obter detalhes.

Contribuindo

Obrigado pelo seu interesse em contribuir para o INCEDPG! Consulte o arquivo contribuinte.md para obter diretrizes sobre como contribuir para o projeto.