Aplicação de fusão de geração de recuperação offline (fusão de rag) com Ollama, Langchain, LLAMA3-8B, FAISS e MISTRAL-7B
Papel de referência - https://arxiv.org/pdf/2402.03367
Este projeto implementa um aplicativo completo de fusão de trava off-line para geração de texto e recuperação, aproveitando os recursos locais eficientes.
- Operação offline: funciona inteiramente sem conectividade da Internet, ideal para cenários com acesso à rede limitado ou não confiável.
- Custo zero: utiliza ferramentas de código aberto disponíveis gratuitamente, minimizando as despesas de infraestrutura.
- Ollama com LLAMA3-8B LLM: Emprega Ollama para execução offline do poderoso modelo de linguagem de grande llama3, permitindo uma geração eficaz de texto.
- Banco de dados do FAISS Vector: aproveita o FAISS, um banco de dados vetorial offline de alto desempenho, para armazenar e recuperar com eficiência incorporação de documentos.
- Abraçando as incorporações de rosto: integra incorporações pré-treinadas de abraçar o rosto para a representação semântica de dados textuais.
- MultiqueyRetriever: automatiza o processo de ajuste rápido usando um LLM para gerar várias consultas a partir de diferentes perspectivas para uma determinada consulta de entrada do usuário.
Começando
Execute os seguintes comandos no seu terminal.
Clone este repositório.
git clone https://github.com/RionDsilvaCS/research-assistant-rag-fusion.git
Instale as dependências necessárias (verifique se você está dentro do Git Dir)
pip install -r requirements.txt
Para criar seu próprio db de vetor
Definir as configurações do projeto Certifique -se de que você tenha o Ollama em execução no seu dispositivo. https://ollama.com/download
https://ollama.com/library/llama3
https://ollama.com/library/mistral
Agora eternos estão prontos para serem executados
Oleoduto offline de fusão de pano
Aumente sua eficiência de pesquisa com esses poderosos benefícios:
Este assistente de pesquisa movido a fusão de trapos oferece uma infinidade de vantagens para elevar seu jogo de pesquisa:
- Precisão e abrangência aprimoradas: a fusão de rags garante que suas consultas recuperem as informações mais relevantes do seu corpus de pesquisa, promovendo uma compreensão mais profunda do seu assunto.
- Spark novas avenidas de pesquisa: a geração de multiquaria com Langchain ajuda a descobrir conexões ocultas e explorar diversas perspectivas, levando a possibilidades inovadoras de pesquisa.
- Fluxo de trabalho ininterrupto: Trabalhe perfeitamente offline! O Vector Store mantém seus dados de pesquisa prontamente acessíveis, eliminando a necessidade de uma conexão com a Internet.
- Solução econômica: todas as tecnologias usadas neste projeto são de código aberto, tornando esta uma poderosa ferramenta de pesquisa sem nenhuma taxa de licenciamento.
- Produtividade da pesquisa aprimorada: simplificar seu processo de pesquisa, recuperando informações relevantes e obtendo novas idéias, liberando um tempo valioso para análise e exploração.
- Inspiração offline: este assistente de pesquisa se torna seu companheiro constante, pronto para despertar inspiração e orientar sua jornada de pesquisa, mesmo sem uma conexão com a Internet.
Esses benefícios combinaram capacitar os pesquisadores a alcançar maior eficiência, desbloquear novas avenidas de pesquisa e, finalmente, fazer contribuições significativas em seu campo.
Me siga
Github @riondsilvacs · LinkedIn @rion dsilva · twitter @rion_dsilva_cs
