pg vector embed rust

PG -векторное встраивание и ржавчина запроса

Этот репозиторий содержит систему на основе ржавчины для управления векторными встроениями и запроса их с использованием векторной базы данных, поддерживаемой PostgreSQL. Система предназначена для обработки встраивания генерации, хранения и запросов.

Оглавление

• Обзор
• Функции
• Структура каталога
• Начиная
  • Предварительные условия
  • Установка
  • Запуск приложения
• Использование
  • Команды
  • Конфигурация
  • Внедрение и запросы
• Тестирование
• Внося
• Лицензия

Обзор

Система состоит из нескольких модулей, которые обрабатывают различные аспекты процесса внедрения и запроса:

• Команды : обрабатывает аргументы и подкоманды командной строки.
• Config : управляет настройками конфигурации для внедрения запросов и подключений к базе данных.
• Константы : предоставляет постоянные значения, используемые на протяжении всего приложения.
• Внедрение : содержит логику для генерации встраиваний и упорства их в базе данных.
• Vectordb : обрабатывает взаимодействие с базой данных PostgreSQL для хранения и запроса векторных встроений.

Функции

• Генерация встраивания : сгенерировать векторные встроения из входных данных.
• Постоянство в базе данных : хранить встроенные вмещания в базе данных PostgreSQL.
• Запрос : Запрос базы данных, чтобы найти ближайших соседей на основе векторных встроений.

Структура каталога

 src/
├── app/
│   ├── commands.rs
│   ├── config.rs
│   └── constants.rs
├── embedding/
│   ├── run_embedding.rs
│   └── vector_embedding.rs
├── main.rs
├── tests/
│   ├── setup_docker.rs
│   ├── test_pgclient.rs
│   ├── test_query_vector.rs
│   ├── test_run_embedding.rs
│   └── test_vector_embedding.rs
├── vectordb/
│   ├── pg_vector.rs
│   └── query_vector.rs
├── lib.rs
├── vectordb/mod.rs
├── tests/mod.rs
├── embedding/mod.rs
└── app/mod.rs

Начиная

Предварительные условия

• Ржавчина (последняя стабильная версия)
• Postgresql Vector Db.
• Docker (для выполнения тестов)
• Активная служба Ollama с nomic-embed-text или аналогичной моделью.

Установка

1. Клонировать репозиторий:

   git clone https://github.com/rupeshtr78/pg-vector-embed-rust.git
   cd pg-vector-embed-rust

2. Установить зависимости:

   cargo build

Запуск приложения

1. Запустите базу данных вектора PostgreSQL (если еще не запускается).

2. Служба Ollama должна работать с указанной моделью.

3. Запустите приложение:

   cargo run
      
   

Использование

Команды

Приложение поддерживает различные команды и подкоманды. Используйте флаг --help , чтобы увидеть доступные параметры:

   cargo run -- --help
   cargo run -- write --input " dog sound is called bark " --input " cat sounds is called purr " --model " nomic-embed-text " --table " from_rust2 " --dim 768 --log-level " debug "
   cargo run -- query --input " who is barking " --model " nomic-embed-text " --table " from_rust2 "  

Конфигурация

Настройки конфигурации для запросов внедрения и подключений к базе данных управляются в src/app/config.rs . Вы можете изменить эти настройки по мере необходимости.

Внедрение и запросы

• Сгенерируйте встроения : используйте функцию run_embedding , чтобы сгенерировать встраивания и сохранить их в базе данных.
• Запрос Enterdings : Используйте функцию run_query , чтобы запросить базу данных для ближайших соседей на основе векторных встроений.

Тестирование

Репозиторий включает в себя комплексный набор тестов, чтобы обеспечить правильную функционирование системы. Чтобы запустить тесты:

cargo test 

Внося

Взносы приветствуются! Пожалуйста, прочитайте файл appling.md для получения подробной информации о том, как внести свой вклад в этот проект.

Лицензия

Этот проект лицензирован по лицензии MIT - для получения подробной информации см. Файл лицензии.

---

Не стесняйтесь настраивать эту Readme дальше в зависимости от ваших конкретных потребностей и деталей проекта.