llama index RAG

Aplicação de RaB de índice de lhama

Uma implementação de pano no índice de llama usando o QDRANT como armazenamento. Pegue alguns PDFs (você pode usar os PDFs de teste incluem em /dados ou excluir e usar seus próprios documentos), indexá -los /incorporá -los em um VDB, use LLM para inferência e gerar saída. Muito bacana.

Como usar

• Crie o caminho local e a subpasta de dados
• Crie Env Virtual usando conda, Env ou Docker
• Digite pip install -r /path/to/requirements.txt no prompt de cmd
• Ative Ollama no Terminal com ollama run mistral ou qualquer modelo que você escolher. Se você estiver usando o novo Ollama para o Windows, não é necessário, pois ele é executado em segundo plano (verifique se está ativo).
• Abrir llama_index_rag.py e atualizar as linhas 42 e 43 com seu modelo de escolha
• Salve e execute o script
• Observe resultados semelhantes a: