vector admin

大規模なベクトルデータベースを管理するためのユニバーサルUIおよびツールスイート。

| | |ドキュメント|ホストされたインスタンス

素早い！松ぼっくりまたはクロマベクターデータベースにどの情報が埋め込まれているかを正確に教えてください。私はあなたができないに違いない。これらのチームは、基礎となるアーキテクチャの構築に焦点を当てていますが、頭痛やAPI呼び出しなしでベクターデータを簡単に管理できるようにしました。

私たちはそれをVectorAdminと呼び、ベクターデータベース管理のための最高の普遍的なGUIになりたいと考えています。

より多くのスクリーンショットを表示します

デモを見てください！

製品の概要

VectorAdminは、APIを介して埋め込まれている扱いにくいベクターデータを完全に制御するか、Langchainなどのツールを使用しているフルスタックアプリケーションであることを目指しています。

VectorAdminは、Dockerを介してローカルに実行したり、リモートでホストしたり、複数のベクトルデータベースを一度に管理したりできるフル能力のあるマルチユーザー製品です。

VectorAdminは単一のツール以上です。 VectorAdminは、従来のデータベース管理システムに期待されるコントロールを妥協することなく、ベクトル化されたテキストと対話し、理解することを簡単にするツールのスイートです。

VectorAdminのいくつかのクールな機能

• マルチユーザーインスタンスのサポートと監視
• 埋め込みの特異なテキストチャンクを原子的に表示、更新、削除します。
• ドキュメント全体、または再装備に支払うことなく、名前空間全体や埋め込みをコピーします。
• 新しいドキュメントをベクトルデータベースに直接アップロードして埋め込みました。
• 既存のベクトルデータベース全体を別のタイプまたはインスタンスに移行します。まだ進行中です
• 複数の同時ベクトルデータベースを一度に管理します。
• 許可データとデータへのアクセス
• 100％クラウド展開準備完了。
• 名前空間またはコレクションとして実行される自動回帰テストは、応答品質を確保するために新しいドキュメントで更新されます。まだ進行中です
• フルAPI、JavaScript、およびPythonスタンドアロンクライアントとLangchain統合。まだ進行中です
• 非常に大きなドキュメントを管理するための非常に効率的なコスト削減手段。大規模なドキュメントやトランスクリプトを複数回埋め込むために支払うことはありません。

技術的な概要

このモノレポは、3つの主要なセクションで構成されています。

• document-processor ：ドキュメントを簡単に消化、解析、埋め込むフラスコアプリ。
• frontend ：Vitejs +は、すべてのコンテンツを簡単に作成および管理できるように実行できるFrontendを反応させます。
• backend ：すべてのインタラクションを処理し、すべてのVectordB管理を実行するNodeJS + Expressサーバー。
• workers ：snappyパフォーマンスのための長期にわたるプロセスの背景タスクを処理するための最大のJSインスタンス。
• docker ：Dockerインスタンスが推奨されるように、このアーチ全体を単一のコマンドで実行します。

要件

• マシンのyarnとnode
• document-processor/でスクリプトを実行するためのpython 3.9+。
• 埋め込みや新しいドキュメントをアップロードすることを計画している場合は、OpenAI APIキーへのアクセス。
• Pinecone.ioフリーアカウントまたは実行中のChromadbインスタンス。

開始方法（Docker-シンプルなセットアップ）

Dockerと一緒に数分で起きて走ってください

始める方法（開発環境）

以下の指示は、Windowsで動作しません。

• yarn dev:setup 。
• cd document-processor && python3.9 -m virtual-env v-env && source v-env/bin/activate && pip install -r requirements.txt

プロジェクトルートからの別々のターミナルウィンドウで：

• yarn prisma:setup DBの移行とクライアントを作成し、 yarn dev:server
• yarn dev:frontend
• yarn dev:workers
• cd document-processor && flask run --host '0.0.0.0' --port 8888

最初の起動とホームページのアクセスでは、プライマリ管理アカウント、組織、およびデータベース接続を作成するために自動的にリダイレクトされます。

貢献

• 問題を作成します
• <issue number>-<short name>のブランチ名フォーマットでPRを作成します
• Yee Hawは合併しましょう

テレメトリー

Mintplex Labs IncによるVectorAdminには、匿名の使用情報を収集するテレメトリ機能が含まれています。

なぜ？

この情報を使用して、VectorAdminがどのように使用されるかを理解し、新機能とバグ修正に関する作業を優先し、VectorAdminのパフォーマンスと安定性を改善するのに役立ちます。

オプトアウト

サーバーまたはdocker .envの設定でDISABLE_TELEMETRY 「true」に設定して、テレメトリをオプトアウトします。

 DISABLE_TELEMETRY="true"

明示的に何を追跡しますか？

特に、製品とロードマップの決定を下すのに役立つ使用の詳細のみを追跡します。

• サーバーが起動または起動されます。
• インストールのバージョン。
• 実行時のジョブの種類。

これらのクレームをすべての場所を見つけることにより、 Telemetry.sendTelemetry見つけることにより、これらのクレームを検証できます。SendTelemetryが呼び出されます。さらに、これらのイベントは出力ログに書き込まれているため、送信された特定のデータも表示されます。 IPやその他の識別情報は収集されません。テレメトリープロバイダーは、オープンソーステレメトリーコレクションサービスであるPosthogです。