Doc Quest

docquest？：社内検索の生成（RAG）システム

オフライン環境で社内パッケージを管理しながら、データサイエンスチームにパーソナライズされた参照豊富な出力を提供するために、RAGシステムを設計および最適化するにはどうすればよいですか？

さらに分解するには：

• 参照を使用したカスタマイズされた出力： RAGシステムがコンテキスト固有の情報を活用して、データサイエンティストのテーラード出力を生成する方法を調査します。生成されたコンテンツに正確で関連する参照を含める方法を調べます。
• 社内オフラインシステム：オフライン環境でRAGシステムを展開するための技術的要件と制約を調べます。インターネット接続なしでデータストレージ、処理、モデルの更新に関連する課題を評価します。
• 社内パッケージの管理： RAGシステム内で独自のデータサイエンスパッケージを統合および管理するための戦略を分析します。互換性の問題、バージョン制御、依存関係の管理を調べて、シームレスな操作と統合を確保します。

概要：

Docquestは、データサイエンスチーム向けに設計されたオフラインの検索上昇（RAG）システムです。インターネット接続のない環境で動作しながら、パーソナライズされた参照が豊富な出力を提供します。このシステムは、データプライバシーが最重要である安全な設定に最適です。

特徴：

• オフライン操作：インターネット接続なしで機能する完全に機能するRAGシステム
• 高度なドキュメント前処理：効率的なドキュメント処理とコンテンツ抽出のための堅牢なパイプライン
• 最先端の埋め込みとベクトルストレージ：複数の埋め込みモデルとベクトルストレージソリューションが組み込まれています
• 最適化されたRAGパイプライン：インテリジェントクエリ処理と高精度ドキュメントの取得を含む
• ユーザーフレンドリーインターフェイス：簡単なインタラクションのためのRestreylitベースのUI

データソース：

システムは、以下を含む複数のソースからドキュメントを統合します。

• パンダ
• numpy
• Scikit-Learn

フォルダー構造：

 DOC-QUEST/
│
├── data/                           # Folder for data/documents
│   ├── documents/                  # Raw or processed document storage
│   └── vector_db/                  # Vector databases
│       ├── child_docs/             # Child documents
│       └── parent_docs/            # Parent documents
│
├── notebooks/                      # Jupyter notebooks for prototyping and experimentation
│   ├── 1_documentation_download.ipynb
│   ├── 2_document_pre_processing.ipynb
│   ├── 3_embedding_vector_save_gpu.ipynb
│   ├── 4_conversation_rag.ipynb
│   ├── data_wrangling.ipynb
│   └── rag_v1.ipynb
│
├── src/                            # Core source code for pipeline components
│   ├── 1_documentation_download.py
│   ├── 2_document_pre_processing.py
│   ├── 3_embedding_vector_save_gpu.py
│   ├── 4_conversation_rag.py
│
├── .gitignore                      # Specifies files/folders to ignore in version control
├── doc_quest_app.py                # DocQuest UI streamlit application
├── README.md                       # Project documentation
└── requirements.txt                # Dependencies for the project

インストール：

1. リポジトリをクローンします：

    git clone https://github.com/shrivastavasatyam/Doc-Quest.git
   cd Doc-Quest
   

2. 仮想環境を設定します：

    python3 -m venv .venv
   source .venv/bin/activate
   

3. 依存関係をインストールします：

    pip install -r requirements.txt
   

4. APIキーの構成：GROQ APIキーを環境変数として設定します。

    export GROQ_API_KEY=your_groq_api_key
   

   または、 doc_quest_app.pyファイルに直接追加します。

    os . environ [ "GROQ_API_KEY" ] = "your_groq_api_key"

5. ドキュメントパスの準備：ドキュメントパスがdoc_quest_app.pyファイルで正しく設定されていることを確認してください：

    parent_doc_path = "/path/to/your/parent_docs"
   child_doc_path = "./path/to/your/child_docs" 

使用法：

1. Remollitアプリを起動します：

    streamlit run doc_quest_app.py
   

2. Streamlit（通常http://localhost:8501 ）が提供するURLのWebインターフェイスにアクセスします。

3. チャットインターフェイスを使用して質問をし、RAGシステムと対話します。

システムコンポーネント：

• ドキュメントの前処理：BSHTMLLOADERとBeautifulSoupを使用してコンテンツ抽出
• 埋め込みモデル：GTE-LARGE-EN-V1.5、GTE-LARGE、STELLA_EN_400M_V5
• ベクトルストレージ：Chroma、Faiss
• テキスト生成：Llama-3.1-70Bモデルを利用します

将来の改善：

• チャット履歴ストレージの実装。
• 検索コンポーネントをさらに最適化します。
• 関連するドキュメントセクションに直接ナビゲーションの固定リンクを追加します。
• UIに複数の生成モデル選択オプションを導入します。