ai markdown llm retrieval

RAGベースのVectordb-llmクエリエンジン

このプロジェクトは、Langchain、Chromadb、およびOpenaiの言語モデルを使用して、AIを搭載したドキュメントクエリシステムを実装しています。ユーザーは、Markdownドキュメントから検索可能なデータベースを作成し、自然言語を使用して照会することができます。

特徴

• マークダウンドキュメントからのベクトルデータベースの作成
• 埋め込みおよびクエリコストの見積もり
• データベースでの類似性検索
• ユーザークエリのAI搭載の応答生成

アーキテクチャ図

要件

• Python 3.7+
• requirements.txtにリストされている依存関係。txt

インストール

1. このリポジトリをクローンします
2. 仮想環境を作成します：

    python -m venv .venv
   source .venv/bin/activate  # On Windows, use `.venvScriptsactivate`
   

3. 必要なパッケージをインストールします：

    pip install -r requirements.txt
   

4. .envファイルにOpenAI APIキーを設定します。

    OPENAI_API_KEY=your_api_key_here
   

はじめる

これらの手順に従って、ragベースのVectordb-llmクエリエンジンをすばやくセットアップして使用します。

1. マークダウンドキュメントからデータベースを作成します。

    python create_database.py --data_folder data/go-docs --chroma_db_path chroma_go_docs/
   

   このコマンドは、データ/ go-Docsディレクトリ内のマークダウンファイルを処理し、chroma_go_docs/フォルダーにベクトルデータベースを作成します。

2. 自然言語の質問でデータベースをクエリします：

    python query_data.py --query_text "Explain goroutines in go in a sentence" --chroma_db_path chroma_go_docs/ --prompt_model gpt-3.5-turbo
   

3. AIに生成された応答を表示します。

    Goroutines are lightweight, concurrent functions or methods in Go that run independently, managed by the Go runtime, allowing for efficient parallel execution and easy implementation of concurrent programming patterns.
   

使用法

より詳細な使用手順については、次のセクションを参照してください。

1. データベースを作成します

    python create_database.py --data_folder path/to/your/markdown/files --chroma_db_path path/to/save/database
   

2. データベースをクエリします

    python query_data.py --query_text "Your question here" --chroma_db_path path/to/database --prompt_model gpt-3.5-turbo
   

ファイル構造

• create_database.py ：データベース作成スクリプト
• query_data.py ：データベースクエリスクリプト
• estimate_cost.py ：コスト見積もりモジュール
• get_token_count.py ：トークンカウントユーティリティ
• data/ ：マークダウンドキュメントディレクトリ
• chroma/ ：Chromadbデータベースストレージ（Gitignored）

メモ

• 埋め込みにはOpenaiのtext-embedding-3-smallを使用し、デフォルトで応答にgpt-3.5-turbo使用します
• data/またはカスタムパスを指定する
• chroma/ （gitignored）に保存されているChromaDBデータベース

トラブルシューティング

• 互換性のあるPythonバージョンを確保し、パッケージのインストールを修正します
• APIエラーのOpenai APIキーとアカウントクレジットを確認する

ライセンス

このプロジェクトは、MITライセンスの条件に基づいてライセンスされています。詳細については、ライセンスファイルを参照してください。

で構築されています

• ラングチェーン
• Chromadb
• Openai
• ティクトーク

質問や問題については、GitHubリポジトリで問題を開いてください。