Seerat e Nabi Model with Llama Index

Llamaインデックスを備えたSeerat-e-Nabiモデル

このプロジェクトは、FastAPIバックエンドを使用して、ベクトルストレージとクエリのためにLLAMAインデックスを使用してSeerat-e-Nabiモデルに関する質問への回答を提供するWebアプリケーションです。

特徴

• FASTAPI統合：APIリクエストを処理するための軽量のWebフレームワーク。
• Llama Index ：ドキュメントベクトルの保存とクエリにLlamaインデックスを使用します。
• 動的モデルの読み込み：インデックスを自動的に読み込んで持続させ、効率的なクエリを確保します。

ファイル構造

• main.pyを使用してエンドポイントをセットアップするメインアプリケーションファイル。
• llama_model.py ：スクリプトデータを読み込み、インデックスを作成し、llamaインデックスを使用して照会します。
• clean.py ：インデックス作成に適したクリーンデータセットを作成するための生データをプリプセスします。

重要なコンポーネント

Fastapiアプリケーション（ main.py ）

• エンドポイント：
  • GET / ：「OK」を返すSimple Health Check。
  • GET /response/{question} ：質問を受け入れ、モデルの応答を返します。
• サーバー構成：リロードを有効にしてport 8000​​でサーバーを実行します。

llamaモデル（ llama_model.py ）

• データの読み込みとインデックス：
  • 指定されたディレクトリからドキュメントをロードします。
  • ベクトルストアインデックスを作成し、持続します。
• クエリ処理：
  • インデックスを照会し、応答を取得する関数を提供します。

データプリプロセシング（ clean.py ）

• データクリーニング：
  • 非金の字と空の線を削除します。
  • 3語未満のラインをフィルターアウトします。
• クリーンデータの保存：前処理されたデータを新しいファイルに保存します。

課題と解決策

• モデルの統合：LlamaインデックスとFastAPIとのシームレスな統合を確保するには、データの読み込みとインデックスを慎重に処理する必要がありました。
• データの前処理：データをクリーニングと準備して、意味のあるインデックスを作成して、複数の前処理手順を伴いました。
• 効率的なクエリ：インデックスを効率的にクエリするためのシステムを実装し、堅牢なインデックス作成とクエリ処理メカニズムを要求する応答を提供します。

はじめる

1. リポジトリをクローンします。
2. 必要な依存関係をインストールします。
3. Fastapiアプリを実行します。

git clone https://github.com/faisal-fida/seerat-e-nabi-model-llama-index.git
cd seerat-e-nabi-model-llama-index
pip install -r requirements.txt
uvicorn main:app --reload

結論

このプロジェクトは、インデックス付きデータに基づいて質問に答えることができるレスポンシブWebアプリケーションを作成するためのFastapiとLlama Indexの統合を示しています。モデル統合、データの前処理、効率的なクエリの複雑さを強調しています。

問題が発生した場合は、お気軽に貢献したり、問題を提起したりしてください！