llm ollama llamaindex bootstrap

Aplicación de Bootstrap de generación de recuperación de generación (tra Rag)

Diseñado para uso fuera de línea, esta plantilla de aplicación RAG se basa en los tutoriales de Andrej Baranovskij. Ofrece un punto de partida para construir su propia tubería de trapo local, independientemente de las API en línea y los servicios LLM basados ​​en la nube como OpenAI. Esto permite a los desarrolladores experimentar e implementar aplicaciones de RAG en entornos controlados.

Una aplicación UI FullStack generada con Create-llama y personalizada para este proyecto se puede encontrar en https://github.com/tyrell/llm-ollama-lamaindex-bootstrap-ui

Mi publicación de blog proporciona más contexto, motivación y pensamiento detrás de estos proyectos.

La pila

Esta aplicación RAG se ejecuta completamente fuera de línea, utilizando su CPU local para generar/recuperar/rango de respuestas sin necesidad de acceso a Internet. Esta implementación de trapo se basa únicamente en su CPU local para el cálculo. Tenga en cuenta que procesar conjuntos de datos grandes o usar modelos intensivos en recursos podría ralentizar el rendimiento.

1. Modelo de lenguaje grande: usamos Ollama (https://ollama.ai/) para ejecutar nuestro LLM localmente. Cualquier modelo admitido por Ollama se puede configurar para usarse utilizando el archivo config.yml que se encuentra en esta aplicación.
2. Vector Store: usamos Weaviate (https://weaviate.io) como la tienda vectorial. Ejecutamos Weaviate como un contenedor Docker. La URL de la instancia de tejido se puede configurar utilizando el archivo config.yml.
3. Índice: usamos Llamaindex (https://www.llamaindex.ai) como el núcleo de esta aplicación RAG que actúa como el índice de nuestras estructuras de datos privados. El código de muestra proporcionado por la plantilla ingiere un archivo en el índice.
4. Incremedios vectoriales: usamos Langchain (https://www.langchain.com) y Huggingface (https://huggingface.co) para mantener un modelo de incrustación local.

---

Inicio rápido

1. Ejecute la tienda Vector Local Weaviate con Docker:

 docker compose up -d

2. Instalar requisitos de Python:

 pip install -r requirements.txt

3. Instale Ollama y tire del modelo LLM preferido especificado en config.yml

4. Copiar archivos PDF de texto a la carpeta data

5. Ejecute el script para convertir el texto en embedidas vectoriales y guardar en Weaviate:

 python ingest.py

1. Ejecute Main.py para procesar datos con LLM Rag Pipeline definido en Pipeline.py y devuelva la respuesta:

 python main.py "Who are you?"

Respuesta:

 Answer:
I am an AI language model, designed to assist and provide information based on the context provided. In this case, the context is related to an invoice from Chapman, Kim and Green to Rodriguez-Stevens for various items such as wine glasses, stemware storage, corkscrew parts, and stemless wine glasses.

Here are some key details from the invoice:
- Invoice number: 61356291
- Date of issue: 09/06/2012
- Seller: Chapman, Kim and Green
- Buyer: Rodriguez-Stevens
- VAT rate: 10%

The invoice includes several items with their respective quantities, unit measures (UM), net prices, net worth, gross worth, and taxes. The summary section provides the total net worth, VAT amount, and gross worth of the invoice.
==================================================
Time to retrieve answer: 37.36918904201593

Puede encontrar más indicaciones en Survic.txt para probar la aplicación de plantilla. Una vez que haya leído la base de código, expanda el trapo a sus necesidades específicas.

Licencia

Apache 2.0

~ Tyrell Perera