pg vector embed rust

Pg vetor incorporando e consulta ferrugem

Este repositório contém um sistema baseado em ferrugem para gerenciar incorporações de vetor e consultá-las usando um banco de dados vetorial apoiado pelo PostGresql. O sistema foi projetado para lidar com geração, armazenamento e consulta de incorporação.

Índice

• Visão geral
• Características
• Estrutura de diretório
• Começando
  • Pré -requisitos
  • Instalação
  • Executando o aplicativo
• Uso
  • Comandos
  • Configuração
  • Incorporação e consulta
• Teste
• Contribuindo
• Licença

Visão geral

O sistema é composto de vários módulos que lidam com diferentes aspectos do processo de incorporação e consulta:

• Comandos : lida com argumentos e subcomandos da linha de comando.
• Config : gerencia as configurações de configuração para incorporar solicitações e conexões de banco de dados.
• Constantes : fornece valores constantes usados ​​em todo o aplicativo.
• Incorporação : contém lógica para gerar incorporações e persistir no banco de dados.
• VectordB : lida com as interações com o banco de dados PostgreSQL para armazenar e consultar incorporações de vetor.

Características

• Incorporação de geração : gerar incorporações vetoriais a partir de dados de entrada.
• Persistência do banco de dados : armazenar incorporação em um banco de dados PostgreSQL.
• Consulta : Consulte o banco de dados para encontrar vizinhos mais próximos com base nas incorporações do vetor.

Estrutura de diretório

 src/
├── app/
│   ├── commands.rs
│   ├── config.rs
│   └── constants.rs
├── embedding/
│   ├── run_embedding.rs
│   └── vector_embedding.rs
├── main.rs
├── tests/
│   ├── setup_docker.rs
│   ├── test_pgclient.rs
│   ├── test_query_vector.rs
│   ├── test_run_embedding.rs
│   └── test_vector_embedding.rs
├── vectordb/
│   ├── pg_vector.rs
│   └── query_vector.rs
├── lib.rs
├── vectordb/mod.rs
├── tests/mod.rs
├── embedding/mod.rs
└── app/mod.rs

Começando

Pré -requisitos

• Ferrugem (versão estável mais recente)
• PostgreSQL Vector DB.
• Docker (para testes de execução)
• Serviço de Ollama ativo com nomic-embed-text ou modelo similar.

Instalação

1. Clone o repositório:

   git clone https://github.com/rupeshtr78/pg-vector-embed-rust.git
   cd pg-vector-embed-rust

2. Instale dependências:

   cargo build

Executando o aplicativo

1. Inicie o banco de dados Vector PostGresql (se ainda não estiver em execução).

2. O serviço Ollama deve estar em execução com o modelo especificado.

3. Execute o aplicativo:

   cargo run
      
   

Uso

Comandos

O aplicativo suporta vários comandos e subcomandos. Use o sinalizador --help para ver as opções disponíveis:

   cargo run -- --help
   cargo run -- write --input " dog sound is called bark " --input " cat sounds is called purr " --model " nomic-embed-text " --table " from_rust2 " --dim 768 --log-level " debug "
   cargo run -- query --input " who is barking " --model " nomic-embed-text " --table " from_rust2 "  

Configuração

As configurações de configuração para incorporar solicitações e conexões de banco de dados são gerenciadas no src/app/config.rs . Você pode modificar essas configurações conforme necessário.

Incorporação e consulta

• Gere incorporação : use a função run_embedding para gerar incorporação e persista no banco de dados.
• Consulta incorporação : use a função run_query para consultar o banco de dados para os vizinhos mais próximos com base nas incorporações do vetor.

Teste

O repositório inclui um conjunto abrangente de testes para garantir que o sistema funcione corretamente. Para executar os testes:

cargo test 

Contribuindo

As contribuições são bem -vindas! Leia o arquivo contribuindo.md para obter detalhes sobre como contribuir para este projeto.

Licença

Este projeto está licenciado sob a licença do MIT - consulte o arquivo de licença para obter detalhes.

---

Sinta -se à vontade para personalizar ainda mais a leitura com base em suas necessidades específicas e detalhes do projeto.