airgapped offfline rag

オフラインのぼろきれ

Vincent KOCによるこのプロジェクトは、ドキュメント用の検索された高級世代（RAG）ベースの質問回答システムを実装しています。 Llama 3、Mistral、およびGeminiモデルを使用して、Llama C ++、オーケストレーション用のLangchain、ベクトルストレージ用のChromadb、およびユーザーインターフェイス用の合理化を使用します。

目次

• オフラインのぼろきれ
  • 目次
  • 設定
  • アプリケーションの実行
    • ローカル
    • Dockerを使用します
  • 使用法
  • 構成
  • 特徴
    • サポートされている機能
    • 将来の機能
  • 貢献
  • ライセンス
  • 謝辞

設定

1. Python 3.9がインストールされていることを確認してくださいpyenvを使用できます。

    pyenv install 3.9.16
   pyenv local 3.9.16
   pyenv rehash
   

2. 仮想環境を作成し、依存関係をインストールします。

    make setup
   

3. モデルのダウンロード：Llama 3（8b）およびMistral（7b）モデルをGGUF形式でダウンロードし、 models/ディレクトリに配置します。抱きしめる顔のTheBlokeは、ここでモデルを共有しています：

   • Mistral-7b-instruct-v0.2-gguf
   • llama-pro-8b-instruct-gguf

   unslothのモデルもテストされており、ここで見つけることができます。

   • gemma-2-2b-it.q2_k.gguf
   • llama-3.2-3b-instruct-q2_k.gguf

4. QDRANT文トランスモデル：これは、最初の実行時に自動的にダウンロードされます。エアギャップされたRAGをローカルで実行する場合、最初にインターネットアクセスを使用してコードベースを実行してモデルをダウンロードするのが最善です。

アプリケーションの実行

ローカル

 make run

Dockerを使用します

 make docker-build
make docker-run

使用法

1. ファイルアップローダーを使用してPDFドキュメントをアップロードします。
2. 使用するモデル（Mistralなど）を選択します。
3. テキスト入力に質問を入力してください。
4. [回答の生成]をクリックして、ドキュメントコンテンツに基づいて応答を取得します。

構成

config.yamlの設定を調整して、モデルパス、チャンクサイズ、その他のパラメーターを変更します。

特徴

サポートされている機能

• llama c ++を使用した局所推論
• ラマ3のモデルサポート（3および3.1）
• ミストラルのモデルサポート
• ジェミニのモデルサポート
• 量子化されたモデルのサポート
• ドキュメントアップロードと処理
• 質問回答システム
• ベクトルストレージの文変換機モデル
• UIのretrierlitとの統合
• ストリーミング応答のサポート

将来の機能

• 追加のモデルとの統合（近日公開）
• 非PDFドキュメントをサポートする（近日公開）
• 画像ドキュメントのサポート（近日公開）
• 埋め込みを視覚化するためのサポート（近日公開）
• チャット履歴のサポート（近日公開）
• 強化されたユーザーインターフェイス（近日公開）
• マルチモーダルドキュメントのサポート（近日公開）
• RAG構成のエクスポートとインポート（近日公開）
• REST APIの公開（近日公開）
• 観察可能性（近日公開）

貢献

貢献は大歓迎です！リポジトリをフォークして、プルリクエストを送信してください。大きな変更については、最初に問題を開いて、何を変えたいかを議論してください。

ライセンス

このプロジェクトは、GNU General Public License v3.0（GPLV3）に基づいてライセンスされています。詳細については、ライセンスファイルを参照してください。

これはつまり：

• このソフトウェアを自由に使用、変更、配布できます。
• このソフトウェアを変更または拡張する場合は、GPLの下で変更をリリースする必要があります。
• 元の著作権通知とGPLライセンスの全文を含める必要があります。
• このフリーソフトウェアの保証はありません。

詳細については、GNU GPL V3をご覧ください。

謝辞

• 量子化されたモデルを共有してくれたTheBlokeとUnslothに感謝します。
• このプロジェクトでは、さまざまなオープンソースライブラリを使用しています。詳細については、Recumentis.txtを参照してください。