gpt all local

すべてのローカルで、プライベートデータでLLMを使用します

このプロジェクトは、大規模な言語モデル（LLM）を使用してプライベートデータから情報を取得し、すべてのピース（モデルを含む）をローカルで実行する学習演習です。目標は、コンピューターでLLMを実行して、コンピューター上のファイルのセットで質問をすることです。ファイルは、PDF、単語、テキストファイルなど、あらゆる種類のドキュメントを使用できます。

LLMSとプライベートデータを組み合わせるこの方法は、検索された生成（RAG）として知られています。この論文で紹介されました。

クレジットが期限になる場合はクレジット：私はこのプロジェクトを元のPrivategpt（現在は原始バージョンと呼んでいるもの）に基づいています。私はそれらがどのように機能するかを理解するためにピースを再装備しました。ソースセクションの詳細をご覧ください。

私たちが達成しようとしていること：コンピューター上のファイルのセット（a）を考えると、そのコンピューターで実行されている大規模な言語モデル（b）がそれらに関する質問（c）に答える必要があります。

ただし、ファイルをモデルに直接送信することはできません。大規模な言語モデル（LLMS）には、それらにどの程度の情報を与えることができるか（ワーキングメモリ）を制限するコンテキストウィンドウがあります。その制限を克服するために、チャンクと呼ばれるファイルを小さな部分に分割し、関連するもののみをモデル（D）にフィードします。

しかし、その後、質問は「関連するチャンクをどのように見つけるのですか？」になります。 。類似性検索（e）を使用して、質問とチャンクに一致します。類似性検索では、ベクトル埋め込み（f）、セマンティック関係をコードするベクトルを持つ単語の表現（技術的には、密なベクトル埋め込みで、ワード袋やTF-IDFなどのまばらなベクトル表現と混同しない）が必要です。関連するチャンクができたら、それらを質問と組み合わせて、LLMに質問に答えるように指示するプロンプト（g）を作成します。

最後の作品が必要です：永続的なストレージ。チャンクの埋め込みを作成するには時間がかかります。質問するたびにそれをしたくありません。したがって、ベクトルストア（またはデータベース）（h）に埋め込みと元のテキスト（チャンク）を保存する必要があります。ベクトルストアは、元のテキストチャンクとそのベクトル埋め込みを保存するため、大きく成長する可能性があります。ベクトルインデックス（i）を使用して、関連するチャンクを効率的に見つけます。

これで、必要なすべてのピースがあります。

実装を2つの部分に分割できます：データの摂取と取得。

1. 摂取：目標は、ローカルファイルをLLM入力サイズ（コンテキストウィンドウ）に収まる小さなチャンクに分割することです。また、各チャンクのベクトル埋め込みを作成する必要があります。ベクトルの埋め込みにより、質問に答えるのに役立つ最も関連性の高いチャンクを見つけることができます。チャンキングと埋め込みには時間がかかるため、1回だけをしたいので、ベクターストア（データベース）に結果を保存します。
2. 検索：ユーザーの質問を考えると、類似性検索を使用して、最も関連性の高いチャンク（つまり、質問に関連するローカルファイルのピース）を見つけます。最も関連性の高いチャンクを決定したら、LLMを使用して質問に答えることができます。そのために、ユーザーの質問と関連するチャンクと、LLMに質問に答えるように指示するプロンプトを組み合わせます。

これらの2つの手順を次の図に示します。

このプロジェクトの使用方法

まだ行っていない場合は、環境を準備してください。既に環境を準備している場合は、 source venv/bin/activateでアクティブにします。

このプロジェクトを使用するには2つの方法があります。

1. コマンドラインインターフェイス：これを使用して、より多くのログを確認し、何が起こっているのかを理解します（以下の--verboseフラグを参照）。
2. Riremlitアプリ：これをよりユーザーフレンドリーなエクスペリエンスに使用してください。

コマンドラインインターフェイス

1. 使用するファイルをdataフォルダーにコピーします。
2. python main.py ingestを実行して、ファイルをベクトルストアに摂取します。
3. python main.py retrieveを実行して、Vectorストアからデータを取得します。質問を求めます。

--verboseフラグを使用して、プログラムが舞台裏で何をしているかについて詳細を確認します。

データを再検討するには、 vector_storeフォルダーを削除し、 python main.py ingestを再度実行します。

retrylidアプリ

streamlit run app.pyを実行します。ブラウザウィンドウでアプリを開きます。

このコマンドは、最初に実行すると失敗する場合があります。 PynvとPyenvと一緒にどのように機能するかのどこかにグリッチがあります。 Riremlitが「モジュールメッセージをインポートできない」を表示する場合は、Python環境を無効にしてdeactivateにし、 source venv/bin/activateで再度アクティブにし、 streamlit run app.py実行します。

デザイン

データの摂取

まだ行っていない場合は、環境を準備してください。既に環境を準備している場合は、 source venv/bin/activateでアクティブにします。

コマンド： python main.py ingest [--verbose]

この段階の目標は、データを検索可能にすることです。ただし、ユーザーの質問とデータの内容は正確に一致しない場合があります。したがって、単純な検索エンジンを使用することはできません。ベクトル埋め込みでサポートされている類似性検索を実行する必要があります。ベクトル埋め込みは、この段階の最も重要な部分です。

データの摂取には、次の手順があります。

1. ファイルのロード：ドキュメントタイプに一致するドキュメントリーダーがファイルのロードに使用されます。この時点で、ファイルの内容（今後は「ドキュメント」）を持つ文字の配列があります。メタデータ、写真などは無視されます。
2. ドキュメントをチャンクに分割します。ドキュメントスプリッターは、ドキュメントを指定されたサイズのチャンクに分割します。モデルのコンテキストサイズに合わせてドキュメントを分割する必要があります（有料モデルを使用するときにトークンを少なく送信するため）。各チャンクの正確なサイズは、ドキュメントスプリッターによって異なります。たとえば、文のスプリッターは文レベルで分割しようとし、指定されたサイズよりも塊が小さくなります。
3. 各チャンクのベクトル埋め込みを作成します。埋め込みモデルは、各チャンクのベクトル埋め込みを作成します。これは、質問に答えるのに役立つ最も関連性の高いチャンクを見つけることができる重要なステップです。
4. 埋め込みをベクトルデータベース（ストア）に保存します：上記のすべての作業を維持してください。そうすれば、将来繰り返す必要はありません。

将来の改善：

• よりインテリジェントなドキュメント解析。たとえば、フィギュアキャプションとセクションテキストを混ぜないでください。参照セクションを解析しないでください（または、インライン参照を実際の参照テキストに置き換えます）。
• 並列性を改善します。理想的には、各ファイルのワークフロー全体（ロードドキュメント、チャンク、埋め込み、持続）を実行する必要があります。これには、I/Oバウンドだけでなく、CPUバウンドタスクも並行するソリューションが必要です。ベクトルストアは、複数の作家もサポートする必要があります。
• さまざまなチャンキング戦略を試してください。たとえば、文スプリッター（ NLTKTextSplitterまたはSpacyTextSplitter ）が回答を改善するかどうかを確認してください。
• LLM入力（コンテキスト）サイズに基づいて、チャンクサイズを選択します。現在、少数にハードコードされており、結果の質に影響を与える可能性があります。一方、LLM APIのコストを節約します。バランスを見つける必要があります。
• 摂取プロセスを自動化します。新しいファイルまたは変更されたファイルがあるかどうかを検出して摂取します。

データの取得

まだ行っていない場合は、環境を準備してください。既に環境を準備している場合は、 source venv/bin/activateでアクティブにします。

コマンド： python main.py retrieve [--verbose]

この段階の目標は、ローカルデータから情報を取得することです。ベクトルストアから最も関連性の高いチャンクを取得し、ユーザーの質問とプロンプトと組み合わせることで、それを行います。プロンプトは、言語モデル（LLM）に質問に答えるように指示します。

データを取得するには、次の手順があります。

1. 最も関連性の高いチャンクを見つけてください。ベクターストアは、質問に最も関連性の高いチャンクを見つけるために質問されています。
2. チャンクを質問とプロンプトと組み合わせます。チャンクは、質問とプロンプトと組み合わされます。プロンプトは、LLMに質問に答えるように指示します。
3. 結合されたテキストをLLMに送信します：結合されたテキストがLLMに送信され、回答が得られます。

将来の改善：

• Langchainコールバックを追加して、検索プロセスの手順を表示します。
• プロンプトを改善して、ローカルドキュメントにあるもののみで回答するために、「次のドキュメントからの情報のみを使用してください：...」。このステップがなければ、モデルはトレーニングデータからの答えを夢見ているように見えますが、これは必ずしも関連性がありません。
• モデレートを追加して、攻撃的な回答を除外します。
• 「検索結果を過度にフェッチしてから、修飾子または修飾子のセットに基づいて決定論的に再表示する」で答えを改善します。」 。
• さまざまなチェーンタイプを試してください（前のポイントに関連）。

結果の改善

妥当な時間でローカルマシンで実行するために、いくつかの妥協をしなければなりませんでした。

• 小さなモデルを使用します。これを変更するのは難しいです。モデルはCPUで実行され、メモリに適合する必要があります。
• 小さな埋め込みサイズを使用します。摂取プロセスを長く待つと、埋め込みサイズを増やすことができます。
• すべてを同じままにして、別のチェーンを試してください。

ソース

INGEST/取得コードのほとんどは、元のprivategptに基づいています。

違うもの：

• UI用のretramiTアプリ。
• 新しい埋め込みと大規模な言語モデルバージョンを使用します。
• Pythonコードを近代化しました。たとえば、 os.pathの代わりにpathlibを使用し、印刷ステートメントの代わりに適切なログを持っています。
• 何が起こっているのかを理解するために、さらにロギングを追加しました。 --verboseフラグを使用して詳細を確認します。
• INGEST/取得ステップを実行するメインプログラムを追加しました。
• たとえば、Face TransformersやLangchainドキュメントローダーなど、間接的な依存関係を備えたrequirements.txtを入力します。

このプロジェクトの開発中に収集されたメモについては、このファイルを参照してください。

環境の準備

これは1回限りのステップです。すでにこれを行っている場合は、 source venv/bin/activateを使用して仮想環境を有効にしてください。

Python環境

次のコマンドを実行して仮想環境を作成し、必要なパッケージをインストールします。

python3 -m venv venv
source venv/bin/activate
pip install --upgrade pip
pip install -r requirements.txt

PDF解析

unstructuredたPDFパーサーは、実際のパーサーパッケージの上部にあるレイヤーです。 「次のシステム依存関係をインストールする」弾丸の下で、 unstructured READMEの指示に従ってください。ポップラーとテッセラクトパッケージが必要です（他のパッケージを無視します）。

モデル

CPUで実行される小さなモデルから始めることをお勧めします。 GPT4ALLには、ここにモデルのリストがあります。 Mistral-7B-Openorca Q4でテストしました。実行するには8 GBのRAMが必要です。一部のモデルには制限的なライセンスがあることに注意してください。商業プロジェクトで使用する前に、ライセンスを確認してください。

1. modelsという名前のフォルダーを作成します。
2. Mistral 7B Oplenorca（3.8 GBのダウンロード、8 GB RAM）をダウンロードするには、ここをクリックしてください。
3. モデルをmodelsフォルダーにコピーします。