vault ai

op vault

OP Vaultは、OPスタック（OpenAI + Pinecone Vector Database）を使用して、ユーザーが独自のカスタムナレッジベースファイルをアップロードし、コンテンツについて質問することができます。

vault.pash.city

クイックセットアップを使用すると、このGolangサーバーの独自のバージョンを起動し、ユーザーが提供された特定の知識ベースについてOpenaIの質問をすることができるユーザーフレンドリーなReact Frontendを起動できます。主な焦点は、本、手紙、その他の文書などの人間が読みやすいコンテンツにあり、知識の抽出と質問をするための実用的で価値のあるツールになっています。ライブラリ全体の書籍とドキュメント全体をアップロードして、回答が基にしているファイル内のファイルの名前と特定のセクションとともに、先の尖った回答を受け取ることができます！

OP Vaultで何ができますか？

ボールトを使用すると、次のことができます。

• シンプルなReactフロントエンドを介してさまざまな人気のあるドキュメントタイプをアップロードして、カスタムナレッジベースを作成します
• アップロードされたドキュメントのコンテンツに基づいて正確で関連する回答を取得する
• 答えを知らせるファイル名と特定のコンテキストスニペットを参照してください
• ユーザーフレンドリーなインターフェイスでOPスタック（OpenAI + Pinecone Vectorデータベース）のパワーを探索してください
• ライブラリの価値のある本全体を金庫にロードします

手動依存関係

• ノード：V19
• GO：V1.18.9 Darwin/ARM64
• ポップラー

設定

手動依存関係をインストールします

1. インストールGO：

ここでGOドキュメントに従ってください

2. ノードV19をインストールします

NVMをインストールし、それを使用してノードv19をインストールすることをお勧めします

3. ポップラーをインストールします

sudo apt-get install -y poppler-utils on ubuntu、またはbrew install poppler on mac

secretフォルダーにAPIキーとエンドポイントを設定します

1. 新しいファイルのsecret/openai_api_keyを作成し、Openai APIキーを貼り付けます。

echo "your_openai_api_key_here" > secret/openai_api_key

2. 新しいファイルsecret/pinecone_api_keyを作成し、Pinecone APIキーを貼り付けます。

echo "your_pinecone_api_key_here" > secret/pinecone_api_key

Pineconeインデックスを設定するときは、 1536のベクトルサイズを使用して、すべてのデフォルト設定を同じに保ちます。

3. 新しいファイルのsecret/pinecone_api_endpointを作成し、Pinecone APIエンドポイントを貼り付けます。

echo "https://example-50709b5.svc.asia-southeast1-gcp.pinecone.io" > secret/pinecone_api_endpoint

開発環境を実行します

1. JavaScriptパッケージの依存関係をインストールします。

   npm install

2. Golang WebServerを実行します（デフォルトポート:8100 ）：

   npm start

3. 別の端末ウィンドウで、Webpackを実行してJSコードをコンパイルし、bundle.jsファイルを作成します。

   npm run dev

4. http：// localhost：8100のサイトのローカルバージョンにアクセスしてください

スクリーンショット：

例のスクリーンショットでは、プラトンによる本とアレクサンダー・ハミルトンのいくつかの手紙をアップロードし、アップロードされたコンテンツに基づいて質問に答える能力を紹介しました。

ファイルのアップロード

質問する

ボンネットの下

Golang Serverは、Post APIを使用して着信アップロードを処理し、質問に応答します。

1. /upload

2. /api/question

すべてのAPIエンドポイントは、vault-web-server/main.goファイルで宣言されています。

ファイルをアップロードして、それらを埋め込みに処理します

Vault-Web-Server/postapi/fileupload.goファイルには、バックエンドで着信アップロードを処理するためのUploadHandlerロジックが含まれています。 PostaPIパッケージのアップロードハンドラー関数は、ファイルのアップロード（最大合計アップロードサイズ300 MB）の処理を担当し、それらを埋め込みに処理してPineconeに保存します。 PDF、EPUB、.DOCX、およびプレーンテキストファイルを受け入れ、テキストからテキストを抽出し、コンテンツをチャンクに分割します。 Openai APIを使用すると、各チャンクとupserts（挿入または更新）の埋め込みの埋め込みが埋め込みになります。この関数は、アップロードされたファイルとその処理ステータスに関する情報を含むJSON応答を返します。

1. 要求本体のサイズをmax_total_upload_size（300 mb）に制限します。
2. 最大許容サイズ300 MBで、着信マルチパートフォームデータを解析します。
3. ファイルのアップロードが成功し、失敗したフィールドを使用して応答データを初期化します。
4. アップロードされたファイルを繰り返し、各ファイルについて：a。ファイルサイズが許容制限内（max_file_size、300 mb）内にあるかどうかを確認します。 b。ファイルをメモリに読み取ります。 c。ファイルがPDFの場合は、そこからテキストを抽出します。それ以外の場合は、内容をプレーンテキストとして読み取ります。 d。ファイルの内容をチャンクに分けます。 e。 Openai APIを使用して、各チャンクの埋め込みを取得します。 f。 upsert（挿入または更新）埋め込みを松ぼっくりに入れます。 g。成功したアップロードと失敗したアップロードに関する情報を使用して、応答データを更新します。
5. アップロードされたファイルとその処理ステータスに関する情報を含むJSON応答を返します。

埋め込みを松ぼっくりdbに保存します

アップロードされたファイルの各チャンクのOpenAI埋め込みを取得した後、サーバーはすべての埋め込みを保存し、Pinecone DBに埋め込む各埋め込みに関連するメタデータを保存します。各埋め込みのメタデータは、次のキーと値を使用して、upsertembeddingStopinecone関数に作成されます。

• file_name ：テキストチャンクが抽出されたファイルの名前。
• start ：元のファイルのテキストチャンクの開始文字位置。
• end ：元のファイルのテキストチャンクのエンディング文字位置。
• title ：この場合のファイル名でもあるチャンクのタイトル。
• text ：チャンクのテキスト。

このメタデータは、埋め込みにコンテキストを提供するのに役立ち、Pineconeデータベースから結果を取得する際に、一致した埋め込みに関する追加情報を表示するために使用されます。

質問に答える

Vault-Web-Server/postapi/custions.goのQuestionHandler機能は、すべての入っている質問を処理する責任があります。 Frontendに質問が入力され、ユーザーが「検索」（または入力）を押すと、サーバーはOpenai Embeddings APIを再度使用して、質問の埋め込み（別名クエリベクトル）を取得します。このクエリベクトルは、Pinecone DBを照会するために使用され、質問に最も関連性の高いコンテキストを取得します。最後に、最も関連性の高いコンテキスト + Openaiトークンの制限に付着するプロンプトの文字列に質問を梱包することにより、プロンプトが構築されます（Go Tiktokenライブラリは、トークンカウントを推定するために使用されます）。

フロントエンド情報

フロントエンドは、 React.jsを使用して構築されており、スタイリング用にless 。

長期的な記憶を伴う生成的な質問

このトピックについてもっと読みたい場合は、Pineconeブログからこの投稿をお勧めします。

• https://www.pinecone.io/learn/openai-gen-qa/

私はあなたがそれを楽しむことを願っています（：

大きなファイルのアップロード

現在、最大個々のファイルサイズが3MBに設定されています。この制限を増やす場合は、fileupload.goでMAX_FILE_SIZEとMAX_TOTAL_UPLOAD_SIZE定数を編集します。

サポートされているfiletypes

pdfs、.txt、.rtf、.docx、.epub、およびplantext。

新しいPinecone Free Tierの制限

最近、Pineconeは無料のティアユーザーに名前空間を使用しました。新しく作成された無料のティアにいる場合、これらの制限はお客様に適用されます。