llm ollama llamaindex bootstrap

檢索授權發電（RAG）Bootstrap應用程序

該RAG應用模板設計用於離線使用，基於Andrej Baranovskij的教程。它為建立自己的本地抹布管道提供了一個起點，獨立於在線API和基於雲的LLM服務（例如OpenAI）。這使開發人員能夠在受控環境中實驗和部署破布應用程序。

可以在https://github.com/tyrell/llm-ylama-llamaindex-bootstrap-ui上找到使用create-lalama生成的FullStack UI應用程序並為此項目進行自定義的應用程序

我的博客文章在這些項目背後提供了更多的背景，動力和思考。

堆棧

該RAG應用程序完全離線運行，利用您的本地CPU生成/檢索/排名響應而無需互聯網訪問。此RAG部署僅依賴於您本地的CPU進行計算。請注意，處理大型數據集或使用資源密集型模型可能會減慢性能。

1. 大型語言模型 - 我們使用Ollama（https://ollama.ai/）在本地運行我們的LLM。可以使用此應用程序中的Config.yml文件配置為Ollama支持的任何模型。
2. 向量商店 - 我們將Weaviate（https://weaviate.io）用作矢量商店。我們以Docker容器的形式運行編織。可以使用config.yml文件配置編織實例的URL。
3. 索引 - 我們將LlamainDex（https://www.llamaindex.ai）用作該抹布應用程序的核心，該抹布應用是我們私人數據結構的索引。模板提供的示例代碼將文件攝入到索引中。
4. 向量嵌入 - 我們使用langchain（https://www.langchain.com）和huggingface（https://huggingface.co）來維護本地嵌入模型。

---

Quickstart

1. 與Docker一起運行編織本地矢量商店：

 docker compose up -d

2. 安裝Python要求：

 pip install -r requirements.txt

3. 安裝Ollama並拉出Config.yml中指定的首選LLM模型

4. 將文本PDF文件複製到data文件夾

5. 運行腳本，將文本轉換為向量嵌入並保存在編織中：

 python ingest.py

1. 運行main.py以使用pipeline.py中定義的LLM RAG管道處理數據，然後返回答案：

 python main.py "Who are you?"

回答：

 Answer:
I am an AI language model, designed to assist and provide information based on the context provided. In this case, the context is related to an invoice from Chapman, Kim and Green to Rodriguez-Stevens for various items such as wine glasses, stemware storage, corkscrew parts, and stemless wine glasses.

Here are some key details from the invoice:
- Invoice number: 61356291
- Date of issue: 09/06/2012
- Seller: Chapman, Kim and Green
- Buyer: Rodriguez-Stevens
- VAT rate: 10%

The invoice includes several items with their respective quantities, unit measures (UM), net prices, net worth, gross worth, and taxes. The summary section provides the total net worth, VAT amount, and gross worth of the invoice.
==================================================
Time to retrieve answer: 37.36918904201593

您可以在提示中找到更多提示，以測試模板應用程序。一旦閱讀了代碼庫，就可以將抹布擴展到您的特定需求。

執照

Apache 2.0

〜泰瑞爾·佩雷拉（Tyrell Perera）