Arquitetura RAG melhorada
Usando Langchain como a estrutura melhorou a arquitetura de trapos do meu projeto anterior, como
- Em vez de executar o modelo local. Prefiro usar API de juntos.ai para não destruir meu laptop ao fazê -lo. (Eles também fornecem melhor modelo, para que o resultado do prompt seja melhor). Eu também poderia ajustar o parâmetro do LLM para obter um melhor resultado ou talvez uma seleção de modelo para o meu caso de uso específico.
- Corrigindo o problema de chunking usando o LLM (Chunker semântico) como o Chunker, em vez de Chunking manual.
- Reescreva a consulta usando o LLM antes de transformá -la em vetor para obter um objetivo de recuperação para uma melhor recuperação.
- Usando a pesquisa semântica (contexto) e a pesquisa lexical (palavra -chave) para o banco de dados do vetor, que é o FAISS (pesquisa de similaridade do Facebook AI).
- Remoranking+algoritmo de autocut após a recuperação para obter melhor saída.
Ragas também pode ser implementado neste projeto, um benchmarking de arquitetura de rag que há outro método de pano em que realmente interessado como o Graphrag.
Ps
- Meu pedaço semântico Run Verrry Slow, aconselho você apenas usar o divisor de texto normal com tamanho fixo e sobreposição para um desempenho mais rápido
- Se você não deseja hospedar o banco de dados no local, pode usar serviços como Pinecone ou MongoDB Atlas e criar um cluster
- Aconselho você a usar outro modelo para a inferência e reescrita, encontre o melhor para sua USECASE
Skibidi sigma rizz +1000 aura
