llm ollama llamaindex bootstrap

検索された生成（RAG）ブートストラップアプリケーション

オフラインで使用するために設計されたこのRAGアプリケーションテンプレートは、Andrej Baranovskijのチュートリアルに基づいています。オンラインAPIやOpenAIなどのクラウドベースのLLMサービスとは無関係に、独自のローカルラグパイプラインを構築するための出発点を提供します。これにより、開発者は制御された環境でRAGアプリケーションを実験および展開することができます。

Create-llamaを使用して生成され、このプロジェクト用にカスタマイズされたフルスタックUIアプリケーションは、https：//github.com/tyrell/llm-ollama-llamaindex-bootstrap-uiにあります

私のブログ投稿は、これらのプロジェクトの背後にあるより多くのコンテキスト、動機、考え方を提供します。

スタック

このRAGアプリケーションは完全にオフラインで実行され、ローカルCPUを利用して、インターネットアクセスを必要とせずに応答を生成/ランク付けします。このぼろきれの展開は、計算のためにローカルCPUのみに依存しています。大規模なデータセットの処理またはリソース集約型モデルを使用すると、パフォーマンスが低下する可能性があることに注意してください。

1. 大規模な言語モデル-Ollama（https://ollama.ai/）を使用してLLMをローカルに実行します。 Ollamaがサポートするモデルは、このアプリケーションで見つかったconfig.ymlファイルを使用して使用するように構成できます。
2. ベクトルストア-Weaviate（https://weaviate.io）をベクトルストアとして使用します。 DockerコンテナとしてWeaviateを実行します。 WeaviateインスタンスのURLは、config.ymlファイルを使用して構成できます。
3. インデックス-LlamainDex（https://www.llamaindex.ai）を、プライベートデータ構造のインデックスとして機能するこのRAGアプリケーションのコアとして使用します。テンプレートによって提供されるサンプルコードは、ファイルをインデックスに摂取します。
4. ベクトル埋め込み - langchain（https://www.langchain.com）とHuggingface（https://huggingface.co）を使用して、ローカルな埋め込みモデルを維持します。

---

クイックスタート

1. DockerでWeaviate Local Vectorストアを実行します。

 docker compose up -d

2. Python要件のインストール：

 pip install -r requirements.txt

3. Ollamaをインストールし、Config.ymlで指定された優先LLMモデルをプルします

4. テキストPDFファイルをdataフォルダーにコピーします

5. スクリプトを実行して、テキストをベクトルの埋め込みに変換し、織りで保存します。

 python ingest.py

1. main.pyを実行して、pipeline.pyで定義されたLLMラグパイプラインでデータを処理し、回答を返します。

 python main.py "Who are you?"

答え：

 Answer:
I am an AI language model, designed to assist and provide information based on the context provided. In this case, the context is related to an invoice from Chapman, Kim and Green to Rodriguez-Stevens for various items such as wine glasses, stemware storage, corkscrew parts, and stemless wine glasses.

Here are some key details from the invoice:
- Invoice number: 61356291
- Date of issue: 09/06/2012
- Seller: Chapman, Kim and Green
- Buyer: Rodriguez-Stevens
- VAT rate: 10%

The invoice includes several items with their respective quantities, unit measures (UM), net prices, net worth, gross worth, and taxes. The summary section provides the total net worth, VAT amount, and gross worth of the invoice.
==================================================
Time to retrieve answer: 37.36918904201593

Templateアプリケーションをテストするために、prosps.txtでより多くのプロンプトを見つけることができます。コードベースを読んだら、特定のニーズに合わせてぼろを拡張します。

ライセンス

Apache 2.0

〜Tyrell Perera