llm ollama llamaindex bootstrap

RAGS-Stiefelstafrap-Anwendung (Abrufen-Augment-Augmented Generation)

Diese Lag -Anwendungsvorlage wurde für die Offline -Verwendung entwickelt und basiert auf den Tutorials von Andrej Baranovskij. Es bietet einen Ausgangspunkt für den Aufbau Ihrer eigenen lokalen Lag-Pipeline, unabhängig von Online-APIs und Cloud-basierten LLM-Diensten wie OpenAI. Dies ermöglicht Entwicklern, Lappenanwendungen in kontrollierten Umgebungen zu experimentieren und bereitzustellen.

Eine FullStack-UI-Anwendung, die mit Create-Llama generiert und für dieses Projekt angepasst wurde

Mein Blog -Beitrag bietet mehr Kontext, Motivation und Denken hinter diesen Projekten.

Der Stapel

Diese Lag -Anwendung wird vollständig offline ausgeführt und verwendet Ihre lokale CPU, um Antworten zu generieren/abzurufen/zu rangieren, ohne Internetzugang zu benötigen. Diese Lag -Bereitstellung stützt sich ausschließlich auf Ihre lokale CPU zur Berechnung. Bitte beachten Sie, dass die Verarbeitung großer Datensätze oder die Verwendung von ressourcenintensiven Modellen die Leistung verlangsamen kann.

1. Großsprachige Modell - Wir verwenden Ollama (https://ollama.ai/), um unsere LLM lokal zu betreiben. Jedes von Ollama unterstützte Modell kann so konfiguriert werden, dass sie mit der in dieser Anwendung gefundenen Konfiguration verwendet werden.
2. Vektor Store - Wir verwenden Weaviate (https://weaviate.io) als Vektor Store. Wir führen Weaviate als Docker -Container aus. Die URL der Weaaviate -Instanz kann mit der Datei config.yml konfiguriert werden.
3. INDEX - Wir verwenden llamaindex (https://www.llamaindex.ai) als Kern dieser Lag -Anwendung, die als Index unserer privaten Datenstrukturen fungiert. Der von der Vorlage bereitgestellte Beispielcode aufnimmt eine Datei in den Index.
4. Vektoreinbettungen - Wir verwenden Langchain (https://www.langchain.com) und Huggingface (https://huggingface.co), um ein lokales Einbettungsmodell zu verwalten.

---

QuickStart

1. Führen Sie den Weaviate Local Vector Store mit Docker aus:

 docker compose up -d

2. Installieren Sie die Python -Anforderungen:

 pip install -r requirements.txt

3. Installieren Sie Ollama und ziehen Sie das bevorzugte LLM -Modell, das in config.yml angegeben ist

4. Kopieren Sie Text PDF -Dateien in den data

5. Führen Sie das Skript aus, um Text in Vektor -Einbettungen umzuwandeln und in Weaviate zu sparen:

 python ingest.py

1. Führen Sie Main.py aus, um Daten mit LLM RAG Pipeline in Pipeline.py zu verarbeiten und die Antwort zurückzugeben:

 python main.py "Who are you?"

Antwort:

 Answer:
I am an AI language model, designed to assist and provide information based on the context provided. In this case, the context is related to an invoice from Chapman, Kim and Green to Rodriguez-Stevens for various items such as wine glasses, stemware storage, corkscrew parts, and stemless wine glasses.

Here are some key details from the invoice:
- Invoice number: 61356291
- Date of issue: 09/06/2012
- Seller: Chapman, Kim and Green
- Buyer: Rodriguez-Stevens
- VAT rate: 10%

The invoice includes several items with their respective quantities, unit measures (UM), net prices, net worth, gross worth, and taxes. The summary section provides the total net worth, VAT amount, and gross worth of the invoice.
==================================================
Time to retrieve answer: 37.36918904201593

Weitere Eingabeaufforderungen finden Sie in Eingabeaufforderungs.txt, um die Vorlagenanwendung zu testen. Sobald Sie die Codebasis gelesen haben, erweitern Sie den Lappen auf Ihre spezifischen Anforderungen.

Lizenz

Apache 2.0

~ Tyrell Perera