GraphRAGlet

Graphraglet - Trabajo en progreso

Una adaptación liviana "la mayor parte del camino allí" del paquete Graphrag.

¿Qué hace que Graphraglet sean diferentes de Graphrag?

El objetivo de Graphraglet es ser un motor de búsqueda de trapo que sea más barato para indexar pero que tiene fuerza similar a Graphrag. En Graphrag regular, la indexación (construcción del gráfico de conocimiento) es costoso. Graphraglet tiene como objetivo abordar Graphraglet esto mediante la construcción del gráfico de conocimiento a través de incrustaciones en lugar de extraer entidades, relaciones y hechos con un LLM. Esto es más barato.

Sin embargo, Graprag apunta a una "comprensión global" del corpus, por lo que el corpus original no es necesario a favor de los resúmenes de la comunidad del gráfico de conocimiento. Este no es el caso de Graphraglet, cuyo objetivo es devolver los documentos más relevantes para una consulta.

¿Cómo funciona Graphraglet?

1. Hacer unidades de texto desde el corpus
2. Genere incrustaciones semánticas para unidades de texto y cree el gráfico de conocimiento a través de un umbral de corte.
3. Detección comunitaria en el gráfico de conocimiento (usando el algoritmo Leiden)
4. Generar resúmenes de las comunidades

Luego, con este gráfico de conocimiento aumentado, podemos implementar las siguientes estrategias de búsqueda:

• Búsqueda global:
  1. Incrustar la búsqueda en los resúmenes de la comunidad
  2. Trapo en la comunidad más relevante
• Búsqueda local: encuentre los documentos más relevantes para una consulta dentro de una comunidad específica.

Dev TODO

• Configurar registro
• Mejor fragmentación de unidades de texto
• Implementar búsqueda
  • Búsqueda global
    • parametrizar
  • Búsqueda local
  • Búsqueda de deriva
• Evaluaciones y pruebas de configuración
  • Múltiple
• Agregar soporte para Groq u otro proveedor de LLAMA
• Use UMAP para reducir la dimensionalidad de los incrustaciones para la minería de relación
• Paralelización