embed pg

Embedpg

EmbedPG - это служба API Node.js, которая использует PostgreSQL с расширением pgvector . Это помогает хранить и поиск данных вектора в базе данных. Этот проект является ранней версией, чтобы увидеть, полезно ли он для людей.

Мотивация

Векторные базы данных действительно полезны, но часто дорогие и ограниченные. Я создал EmbedPG, чтобы сделать эти базы данных проще и дешевле в использовании. Это хорошо работает для разных размеров проектов. Основная стоимость заключается в использовании облачных сервисов, таких как PostgreSQL и серверное пространство. EmbedPG помогает вам быстро настроить векторную базу данных с помощью простых в использовании конечных точек API и инструмента командной строки.

Где мы храним встраиваемые

Мы храним и ищем встроены, используя PostgreSQL с расширением PGVector. Вы можете найти PGVector здесь: PGVector на GitHub.

PGVector поддерживает:

• Точный и приблизительный поиск ближайшего соседа
• Различные типы векторных векторов: однооперационные, полупрофильные, бинарные и редкие векторы
• Различные меры на расстоянии: L2, внутренний продукт, косинус, L1, Хамминг и Джаккарда расстояния

Облачные решения, поддерживающие PGVector

Да, есть облачные решения, которые поддерживают PGVector:

1. AWS RDS - Узнайте больше
2. Google Cloud - Подробнее

Технологии и пакеты используются

EmbedPG использует несколько ключевых технологий и пакетов для обеспечения своей функциональности:

• Express.js : минимальная и гибкая структура веб -приложений Node.js, которая предоставляет надежный набор функций для веб -приложений и мобильных приложений. Express.js используется для обработки маршрутизации и промежуточного программного обеспечения в EmbedPG.
• TypeScript : статически напечатанный суперсет JavaScript, который компилируется для простого JavaScript. TypeScript повышает качество кода и производительность разработчиков с помощью безопасности типа и современных функций JavaScript.
• Mikroorm : ORM (объект-реляционная карта) для TypeScript и JavaScript, вдохновленный структурой сущности и доктриной. Это помогает в управлении операциями базы данных и поддерживает PostgreSQL, SQLite, MySQL и MongoDB.
• ZOD : библиотека декларации и валидации схемы и валидации. ZOD используется для проверки формы и типа данных во время выполнения, обеспечивая надежную и без ошибку обработку данных.

Установка и разработка

Предварительные условия

Прежде чем начать процесс установки, убедитесь, что у вас установлены следующие предпосылки:

1. Последняя стабильная версия Node.js - Загрузите его с официального сайта Node.js.
2. Диспетчер пакетов PNPM - Установите его, запустив npm install -g pnpm .

Настройка PostgreSQL с помощью PGVector

EmbedPG требует PostgreSQL с расширением pgvector . Вы можете настроить это, используя:

• Официальный репозиторий pgvector доступен в PGVector на GitHub.
• Разветвленная версия, которая включает в себя настройку Docker для более легкой установки, доступна в моем репозитории: arisrayelyan/pgvector на GitHub.
• Или используйте мое изображение Docker: AriSrayelyan/PGVector на Docker Hub.

Использование изображения Docker (только разработка)

 # Pull the Docker image
docker pull arisrayelyan/pgvector:latest
# Run the Docker container
docker run -d 
--name pgvector 
-e POSTGRES_PASSWORD=postgres 
-e POSTGRES_USER=postgres 
-e POSTGRES_DB=postgres 
-p 5432:5432 arisrayelyan/pgvector

Шаги установки

1. Клонировать репозиторий EmbedPG

   git [email protected]:arisrayelyan/embed-pg.git

2. Перейдите к каталогу проекта

    cd embed-pg

3. Установить зависимости

    pnpm install

4. Настройка переменных среды

   Скопируйте файл .env.example на .env и установите переменные среды по мере необходимости.

Доступные переменные среды

 # General Settings
NODE_ENV=development

# Database Configuration
DB_USERNAME=postgres
DB_PASSWORD=postgres
DB_NAME=postgres
DB_HOST=localhost
DB_PORT=5432

# Server Settings
PORT=3000
CORS_ORIGINS=http://localhost:3000 # Set the allowed origins for CORS

# OpenAI Configuration
OPENAI_API_KEY= " "
OPEN_AI_MODEL= " "
OPEN_AI_API_ENDPOINT= " "

ПРИМЕЧАНИЕ. Переменные Openai Environment требуются, когда EmbedPG должен обрабатывать запросы на встраивание для вас.

После установки

После настройки переменных среды и установки EmbedPG вы готовы настроить компоненты, необходимые для эффективного работы вашей службы.

Доступные команды

• pnpm generate:collections : Эта команда запускает интерактивную командную строку, который направляет вас через создание всех необходимых компонентов для любой новой коллекции, которую вы хотите добавить. Это включает в себя услуги, конечные точки API, объекты базы данных и миграции, обеспечивающие комплексную службу вашей векторной базы данных и готовы к удовлетворению конкретных потребностей данных.
• pnpm generate:token : Эта команда генерирует новый токен API для вашего сервиса, который вы можете использовать для аутентификации запросов в вашу службу EmbedPG.
• pnpm start : запустите сервис в производственном режиме.
• pnpm build : построить приложение для производства.
• pnpm dev : запустите службу в режиме разработки и примените миграции базы данных.
• pnpm dev:db migration : применить миграции базы данных в режиме разработки.
  • --create Flag создает новый файл миграции.
  • --up Flag применяет все ожидающие миграции.
  • --down флаг откатается назад последней миграции.
  • --to флаг применяет все миграции вплоть до определенной миграции.
• pnpm db migration : применить миграции базы данных в производственном режиме. Используйте те же флаги, что и в режиме разработки.
• pnpm lint : Проверьте исходный код на наличие ошибок в стиле и программировании.
• pnpm lint:fix : автоматически исправить ошибки вкладки в исходном коде.

О сгенерированных файлах

Когда вы генерируете новую коллекцию, EmbedPG создает следующие файлы:

1. Сервис : файл обслуживания, который содержит всю бизнес -логику для коллекции.
2. Конечная точка API : файл конечной точки API, который содержит все маршруты для коллекции.
3. Entity : файл объекта, который определяет схему базы данных для сбора.
4. Миграция : файл миграции, который содержит запросы SQL для создания таблицы базы данных для коллекции.
5. Обновляет некоторые файлы в каталоге src , чтобы включить новые файлы.

Примечание . Вы можете настроить сгенерированные файлы в соответствии с вашими конкретными потребностями. Но не удаляйте ! embedPg Комментарий ! embedPg в файлах, так как EmbedPG использует это для идентификации сгенерированных файлов.

Документация API

Вот документация API для EmbedPG.

Развертывание

Перед тем, как развернуть EmbedPG в производственную среду, убедитесь, что вы установили необходимые переменные и конфигурации среды. Также убедитесь, что вы работаете с PostgreSQL с расширением pgvector (см. Разделие облачные решения, поддерживающие PGVector ).

Запустите следующую команду для создания приложения для производства:

pnpm build

После завершения сборки у вас будет dist каталог с составленным кодом. Развернуть этот код на ваш сервер и запустите следующую команду, чтобы запустить службу:

Сначала запустите миграцию базы данных:

pnpm prod:db migration --up

Создайте новый токен API:

pnpm generate:token

Затем запустите сервис:

pnpm start

Docker развертывание

Вы также можете развернуть EmbedPG с помощью Docker.

Создайте изображение Docker ( примечание: убедитесь, что вы настроили необходимые переменные среды):

./scripts/build-server.sh

Тодо

1. Добавьте тестовый охват.
2. Улучшить документацию.
3. Улучшение функциональности поиска метаданных, реализовать больше операторов.
4. Добавьте документацию Swagger и автоматически генерируйте ее с помощью генерации коллекций.
5. Добавьте сценарии развертывания для разных облачных провайдеров.

Лицензия

Этот проект лицензирован по лицензии MIT. Смотрите файл лицензии для получения подробной информации.

Внося

Спасибо за заинтересованность в участии в EmbedPG! См. Файл apponting.md для руководящих принципов о том, как внести свой вклад в проект.