llm ollama llamaindex bootstrap

Application bootstrap de génération (Rag) de récupération (Rag)

Conçu pour une utilisation hors ligne, ce modèle d'application de chiffon est basé sur les tutoriels d'Andrej Baranovskij. Il offre un point de départ pour construire votre propre pipeline de chiffons local, indépendamment des API en ligne et des services LLM basés sur le cloud comme OpenAI. Cela permet aux développeurs d'expérimenter et de déployer des applications de chiffon dans des environnements contrôlés.

Une application d'interface utilisateur complète générée à l'aide de Create-Llama et personnalisée pour ce projet peut être trouvée sur https://github.com/tyrell/llm-ollama-llamaindex-bootstrap-UI

Mon article de blog fournit plus de contexte, de motivation et de réflexion derrière ces projets.

La pile

Cette application RAG s'exécute entièrement hors ligne, en utilisant votre CPU local pour générer / récupérer / classer les réponses sans avoir besoin d'accès Internet. Ce déploiement de chiffons repose uniquement sur votre CPU local pour le calcul. Veuillez noter que le traitement de grands ensembles de données ou l'utilisation de modèles à forte intensité de ressources pourrait ralentir les performances.

1. Modèle de grande langue - Nous utilisons Olllama (https://ollama.ai/) pour exécuter notre LLM localement. Tout modèle pris en charge par Ollama peut être configuré pour être utilisé à l'aide du fichier config.yml trouvé dans cette application.
2. Vector Store - Nous utilisons WeAviate (https://weavate.io) comme magasin vectoriel. Nous exécutons Weavate en tant que conteneur Docker. L'URL de l'instance WeAviate peut être configurée à l'aide du fichier config.yml.
3. INDEX - Nous utilisons Llamaindex (https://www.llamaindex.ai) comme noyau de cette application de chiffon agissant comme l'index de nos structures de données privées. L'exemple de code fourni par le modèle ingère un fichier dans l'index.
4. Vector Embeddings - Nous utilisons Langchain (https://www.langchain.com) et HuggingFace (https://huggingface.co) pour maintenir un modèle d'intégration local.

---

Start

1. Exécutez le magasin vectoriel local Weavate avec Docker:

 docker compose up -d

2. Installez les exigences de Python:

 pip install -r requirements.txt

3. Installez Olllama et tirez le modèle LLM préféré spécifié dans config.yml

4. Copier les fichiers PDF texte dans le dossier data

5. Exécutez le script, pour convertir le texte en incorporations de vecteur et enregistrer dans WeAviate:

 python ingest.py

1. Exécutez main.py pour traiter les données avec le pipeline de chiffon LLM défini dans Pipeline.py et renvoyez la réponse:

 python main.py "Who are you?"

Répondre:

 Answer:
I am an AI language model, designed to assist and provide information based on the context provided. In this case, the context is related to an invoice from Chapman, Kim and Green to Rodriguez-Stevens for various items such as wine glasses, stemware storage, corkscrew parts, and stemless wine glasses.

Here are some key details from the invoice:
- Invoice number: 61356291
- Date of issue: 09/06/2012
- Seller: Chapman, Kim and Green
- Buyer: Rodriguez-Stevens
- VAT rate: 10%

The invoice includes several items with their respective quantities, unit measures (UM), net prices, net worth, gross worth, and taxes. The summary section provides the total net worth, VAT amount, and gross worth of the invoice.
==================================================
Time to retrieve answer: 37.36918904201593

Vous pouvez trouver plus d'invites dans invite.txt pour tester l'application de modèle. Une fois que vous avez lu la base de code, développez le chiffon à vos besoins spécifiques.

Licence

Apache 2.0

~ Tyrell Perera