GraphRAGlet

Graphraglet - Travail en cours

Une adaptation légère "la plupart du temps" du package Graphrag.

Qu'est-ce qui rend Graphraglet différent de Graphrag?

L'objectif de Graphraglet est d'être un moteur de recherche de chiffon qui est moins cher à indexer mais qui a des strenghts similaires à Graphrag. Dans Graphrag ordinaire, l'indexation (construire le graphique de connaissances) coûte cher. Graphraglet vise à s'adresser à Graphragle en construisant le graphique de connaissances à travers des intégres au lieu d'extraire des entités, des relations et des faits avec un LLM. C'est moins cher.

Cependant, Graphrag vise une "compréhension mondiale" du corpus, afin que le corpus d'origine ne soit pas nécessaire en faveur des résumés communautaires du graphique de connaissances. Ce n'est pas le cas pour Graphraglet, qui vise à renvoyer les documents les plus pertinents pour une requête.

Comment fonctionne Graphraglet?

1. Faire des unités de texte à partir de corpus
2. Générez des incorporations sémantiques pour des unités de texte et construisez le graphique de connaissances à travers un seuil de coupure.
3. Détection de la communauté sur le graphique de connaissances (en utilisant l'algorithme de Leiden)
4. Générer des résumés des communautés

Ensuite, avec ce graphique de connaissances augmentée, nous pouvons mettre en œuvre les stratégies de recherche suivantes:

• Recherche globale:
  1. Incorporer la recherche sur les résumés de la communauté
  2. Rag sur la communauté la plus pertinente
• Recherche locale: Trouvez les documents les plus pertinents pour une requête au sein d'une communauté spécifique.

Dev Todo

• Configurer la journalisation
• Meilleur bunking des unités de texte
• Implémenter la recherche
  • Recherche globale
    • paramétrer
  • Recherche locale
  • Recherche de dérive
• Configuration des évaluations et des tests
  • Multiples
• Ajouter la prise en charge de Groq ou d'un autre fournisseur de lama
• Utilisez UMAP pour réduire la dimensionnalité des intérêts pour l'exploitation des relations
• Parallélisation