llm ollama llamaindex bootstrap

Aplicação de Bootstrap de Geração Gerada (RAG) de recuperação (RAG)

Projetado para uso offline, este modelo de aplicativo RAG é baseado nos tutoriais de Andrej Baranovskij. Oferece um ponto de partida para criar seu próprio pipeline RAG local, independente das APIs on-line e serviços LLM baseados em nuvem como o OpenAI. Isso capacita os desenvolvedores a experimentar e implantar aplicativos de pano em ambientes controlados.

Um aplicativo de interface do usuário do FullStack gerado usando Create-llama e personalizado para este projeto pode ser encontrado em https://github.com/tyrell/llm-ollama-llandex-bootstrap-ui

Minha postagem no blog fornece mais contexto, motivação e pensamento por trás desses projetos.

A pilha

Este aplicativo RAG é executado totalmente offline, utilizando sua CPU local para gerar/recuperar/classificar respostas sem precisar de acesso à Internet. Essa implantação de pano depende apenas da sua CPU local para computação. Observe que o processamento de conjuntos de dados grandes ou o uso de modelos intensivos em recursos pode diminuir o desempenho.

1. Modelo de idioma grande - usamos Ollama (https://ollama.ai/) para executar nosso LLM localmente. Qualquer modelo suportado pelo Ollama pode ser configurado para ser usado usando o arquivo config.yml encontrado neste aplicativo.
2. Vector Store - Utilizamos o WEAVIATE (https://waviate.io) como o Vector Store. Nós executamos tevadores como um contêiner do docker. O URL da instância do WEAVIATE pode ser configurado usando o arquivo config.yml.
3. ÍNDICE - Utilizamos o Llamaindex (https://www.llamaaindex.ai) como o núcleo desse aplicativo RAG atuando como o índice de nossas estruturas de dados privadas. O código de amostra fornecido pelo modelo ingere um arquivo no índice.
4. INCEDIDOS VECTOR - Usamos Langchain (https://www.langchain.com) e Huggingface (https://huggingface.co) para manter um modelo de incorporação local.

---

Investir rápido

1. Execute a loja de vetores locais com o Docker:

 docker compose up -d

2. Instale os requisitos do Python:

 pip install -r requirements.txt

3. Instale o Ollama e puxe o modelo LLM preferido especificado em config.yml

4. Copie os arquivos PDF de texto para a pasta data

5. Execute o script, para converter texto em incorporações de vetor e salvar no tecelagem:

 python ingest.py

1. Run Main.py para processar dados com LLM RAG Pipeline definido no pipeline.py e retorne a resposta:

 python main.py "Who are you?"

Responder:

 Answer:
I am an AI language model, designed to assist and provide information based on the context provided. In this case, the context is related to an invoice from Chapman, Kim and Green to Rodriguez-Stevens for various items such as wine glasses, stemware storage, corkscrew parts, and stemless wine glasses.

Here are some key details from the invoice:
- Invoice number: 61356291
- Date of issue: 09/06/2012
- Seller: Chapman, Kim and Green
- Buyer: Rodriguez-Stevens
- VAT rate: 10%

The invoice includes several items with their respective quantities, unit measures (UM), net prices, net worth, gross worth, and taxes. The summary section provides the total net worth, VAT amount, and gross worth of the invoice.
==================================================
Time to retrieve answer: 37.36918904201593

Você pode encontrar mais prompts em prompts.txt para testar o aplicativo de modelo. Depois de ler a base de código, expanda o pano para suas necessidades específicas.

Licença

Apache 2.0

~ Tyrell Perera