GraphRAGlet

GraphRaglet - Trabalho em andamento

Uma adaptação leve "a maior parte do caminho" do pacote Graphrag.

O que torna o GraphRaglet diferente do Graphrag?

O objetivo do GraphRaglet é ser um mecanismo de busca de pano que seja mais barato para indexar, mas com forças semelhantes que o Graphrag. No Graphrag regular, a indexação (construindo o gráfico de conhecimento) é cara. O GraphRaglet visa abordar isso com o GraphRaglet, construindo o gráfico de conhecimento por meio de incorporação em vez de extrair entidades, relações e fatos com um LLM. Isso é mais barato.

No entanto, o Graphrag visa um "entendimento global" do corpus, para que o corpus original não seja necessário a favor dos resumos da comunidade do Gráfico de Conhecimento. Este não é o caso do GraphRaglet, que visa retornar os documentos mais relevantes para uma consulta.

Como funciona o GraphRaglet?

1. Faça unidades de texto do corpus
2. Gere incorporações semânticas para unidades de texto e construa o gráfico de conhecimento por meio de um limite de corte.
3. Detecção da comunidade no gráfico de conhecimento (usando o algoritmo Leiden)
4. Gerar resumos das comunidades

Então, com este gráfico de conhecimento aumentado, podemos implementar as seguintes estratégias de pesquisa:

• Pesquisa global:
  1. Incorporando a pesquisa nos resumos da comunidade
  2. Pano na comunidade mais relevante
• Pesquisa local: encontre os documentos mais relevantes para uma consulta em uma comunidade específica.

Dev TODO

• Configure o log
• Melhor Chunking de unidades de texto
• Implementar pesquisa
  • Pesquisa global
    • parametrize
  • Pesquisa local
  • Pesquisa de deriva
• Avaliações e testes de configuração
  • Multihop
• Adicione suporte ao GROQ ou outro provedor de lhama
• Use UMAP para reduzir a dimensionalidade das incorporações para mineração de relações
• Paralelização