local rag qa engine

ローカルラグベースの安全なドキュメントQAエンジン

インストール

リポジトリのクローン：

git https://github.com/pratapyash/local-rag-qa-engine
cd local-rag-qa-engine

依存関係をインストールします（詩が必要です）：

poetry install

LLMを取得します（llama3.2：1bデフォルトで）：

ollama pull llama3.2:1b

Ollamaサーバーを実行します

ollama serve

Ragbaseを開始：

poetry run streamlit run app.py

摂取量

PDFドキュメントからテキストを抽出し、ベクトルデータベースに保存されているチャンク（セマンティックおよび文字スプリッターを使用）を作成します

レトリバー

クエリが与えられた場合、同様のドキュメントを検索し、結果を再表示し、応答を返す前にLLMチェーンフィルターを適用します。

QAチェーン

LLMとレトリバーを組み合わせて、特定のユーザーの質問に答えます

技術スタック

• オラマ - ローカルLLMを実行します
• Langchain -LLM搭載アプリをビルドします
• QDRANT-ベクトル検索/データベース
• Flashrank-高速な再ランキング
• Fastembed-軽量で高速な埋め込み生成
• RERICELIT-データアプリのUIを構築します
• PDFIUM -PDF処理とテキスト抽出