embed pg

embedpg

EmbedPGは、 pgvector拡張機能を使用してPostgreSQLを使用するNode.js APIサービスです。データベースにベクトルデータを保存および検索するのに役立ちます。このプロジェクトは、それが人々にとって役立つかどうかを確認するための初期版です。

モチベーション

ベクトルデータベースは本当に便利ですが、しばしば高価で制限されています。これらのデータベースを使用しやすくするために、EmbedPGを作成しました。さまざまなサイズのプロジェクトに適しています。主なコストは、PostgreSQLやサーバースペースなどのクラウドサービスを使用することから生じます。 EmbedPGは、使いやすいAPIエンドポイントとコマンドラインツールを使用して、ベクトルデータベースをすばやく設定するのに役立ちます。

埋め込みを保存する場所

PGVector拡張機能を使用してPostgreSQLを使用して埋め込みを保存および検索します。 PGVectorはGitHubでPGVectorをご覧ください。

PGVectorサポート：

• 正確かつ近似近隣の検索
• さまざまなベクトルタイプ：シングルエシジョン、ハーフエシジョン、バイナリ、およびスパースベクター
• さまざまな距離測定：L2、内製品、コサイン、L1、ハミング、およびジャッカード距離

PGVectorをサポートするクラウドソリューション

はい、pgvectorをサポートするクラウドソリューションがあります。

1. AWS RDS-詳細をご覧ください
2. Google Cloud-続きを読む

使用されるテクノロジーとパッケージ

EmbedPGは、いくつかの主要なテクノロジーとパッケージを活用して、その機能を提供します。

• Express.js ：Webおよびモバイルアプリケーションに堅牢な機能を提供する最小限で柔軟なnode.js Webアプリケーションフレームワーク。 Express.jsは、EmbedPGのルーティングとミドルウェアを処理するために使用されます。
• タイプスクリプト：Plain JavaScriptにコンパイルするJavaScriptの静的に型付けられたスーパーセット。 TypeScriptは、タイプの安全性と最新のJavaScript機能により、コードの品質と開発者の生産性を向上させます。
• Mikroom ：Entity FrameworkとDoctrineに触発されたTypeScriptとJavaScriptのORM（オブジェクト関係マッパー）。データベース操作の管理に役立ち、PostgreSQL、SQLite、MySQL、およびMongoDBをサポートします。
• ZOD ：タイプスクリプトファーストスキーマ宣言および検証ライブラリ。 ZODは、実行時にデータの形状とタイプを検証するために使用され、堅牢でエラーのないデータ処理が確保されます。

インストールと開発

前提条件

インストールプロセスを開始する前に、次の前提条件がインストールされていることを確認してください。

1. node.jsの最新バージョン - node.js公式サイトからダウンロードします。
2. PNPMパッケージマネージャーnpm install -g pnpmを実行してインストールします。

pgvectorでpostgresqlをセットアップします

embedPGには、 pgvector拡張機能を備えたPostgreSQLが必要です。以下を使用してこれを設定できます。

• GitHubのPGVectorで利用可能な公式のpgvectorリポジトリ。
• 私のリポジトリで入手できる、インストールを容易にするためのDockerセットアップを含むフォーク付きバージョン：githubのarisrayelyan/pgvector。
• または、私のDocker画像を使用してください：Docker HubでArisrayelyan/PGVector。

Docker画像の使用（開発のみ）

 # Pull the Docker image
docker pull arisrayelyan/pgvector:latest
# Run the Docker container
docker run -d 
--name pgvector 
-e POSTGRES_PASSWORD=postgres 
-e POSTGRES_USER=postgres 
-e POSTGRES_DB=postgres 
-p 5432:5432 arisrayelyan/pgvector

インストール手順

1. EmbedPGリポジトリをクローンします

   git [email protected]:arisrayelyan/embed-pg.git

2. プロジェクトディレクトリに移動します

    cd embed-pg

3. 依存関係をインストールします

    pnpm install

4. 環境変数を設定します

   .env.exampleファイルを.envにコピーし、必要に応じて環境変数を設定します。

利用可能な環境変数

 # General Settings
NODE_ENV=development

# Database Configuration
DB_USERNAME=postgres
DB_PASSWORD=postgres
DB_NAME=postgres
DB_HOST=localhost
DB_PORT=5432

# Server Settings
PORT=3000
CORS_ORIGINS=http://localhost:3000 # Set the allowed origins for CORS

# OpenAI Configuration
OPENAI_API_KEY= " "
OPEN_AI_MODEL= " "
OPEN_AI_API_ENDPOINT= " "

注：EMBEDPGが埋め込みリクエストを処理する必要がある場合、OpenAI環境変数が必要です。

インストール後

環境変数をセットアップしてEmbedPGをインストールした後、サービスに効果的に動作するために必要なコンポーネントをセットアップする準備が整いました。

利用可能なコマンド

• pnpm generate:collections ：このコマンドは、追加する新しいコレクションに必要なすべてのコンポーネントを生成することをガイドするインタラクティブコマンドラインツールを起動します。これには、サービス、APIエンドポイント、データベースエンティティ、および移行が含まれ、Vectorデータベースサービスが包括的で特定のデータニーズを処理できるようにします。
• pnpm generate:token ：このコマンドは、サービス用の新しいAPIトークンを生成します。これは、EmbedPGサービスにリクエストを認証するために使用できます。
• pnpm start ：生産モードでサービスを開始します。
• pnpm build ：生産アプリケーションを構築します。
• pnpm dev ：開発モードでサービスを開始し、データベースの移行を適用します。
• pnpm dev:db migration ：開発モードでデータベースの移行を適用します。
  • --createフラグは、新しい移行ファイルを作成します。
  • --upフラグは、すべての保留中の移行を適用します。
  • --downフラグは最後の移行をロールバックします。
  • --toフラグから特定の移行まですべての移行を適用します。
• pnpm db migration ：生産モードでデータベースの移行を適用します。開発モードと同じフラグを使用します。
• pnpm lint ：スタイルとプログラミングのエラーについては、ソースコードを確認してください。
• pnpm lint:fix ：ソースコードの糸くずエラーを自動的に修正します。

生成されたファイルについて

新しいコレクションを生成すると、EmbedPGは次のファイルを作成します。

1. サービス：コレクションのすべてのビジネスロジックを含むサービスファイル。
2. APIエンドポイント：コレクションのすべてのルートを含むAPIエンドポイントファイル。
3. エンティティ：コレクションのデータベーススキーマを定義するエンティティファイル。
4. 移行：SQLクエリを含む移行ファイルは、コレクションのデータベーステーブルを作成します。
5. srcディレクトリ内の一部のファイルを更新して、新しいファイルを含めます。

注：特定のニーズに合わせて生成されたファイルをカスタマイズできます。しかし、削除しないでください! embedPg EmbedPGはこれを使用して生成されたファイルを識別するため、ファイルに! embedPgコメントをファイルに掲載します。

APIドキュメント

EmbedPGのAPIドキュメントは次のとおりです。

展開

EmbedPGを生産環境に展開する前に、必要な環境変数と構成を設定していることを確認してください。また、 pgvector拡張機能を使用してPostgreSQLを実行していることを確認してください（ PGVectorをサポートするセクションクラウドソリューションを参照）。

次のコマンドを実行して、生産の申請を構築します。

pnpm build

ビルドが完了すると、コンパイルされたコードを備えたdistディレクトリがあります。このコードをサーバーに展開し、次のコマンドを実行してサービスを開始します。

最初にデータベースの移行を実行します。

pnpm prod:db migration --up

新しいAPIトークンを生成します：

pnpm generate:token

次に、サービスを開始します。

pnpm start

Dockerの展開

Dockerを使用してEmbedPGを展開することもできます。

Docker画像を作成します（注：必要な環境変数を設定していることを確認してください）：

./scripts/build-server.sh

トド

1. テストカバレッジを追加します。
2. ドキュメントを改善します。
3. メタデータ検索機能を改善し、より多くのオペレーターを実装します。
4. Swaggerドキュメントを追加し、コレクション生成で自動的に生成します。
5. さまざまなクラウドプロバイダーに展開スクリプトを追加します。

ライセンス

このプロジェクトは、MITライセンスの下でライセンスされています。詳細については、ライセンスファイルを参照してください。

貢献

EmbedPGに貢献してくれてありがとう！プロジェクトへの貢献方法に関するガイドラインについては、Contributing.mdファイルを参照してください。