Seerat e Nabi Model with Llama Index

Modèle Seerat-e-Nabi avec indice de lama

Ce projet est une application Web qui utilise un backend FastAPI pour fournir des réponses aux questions sur le modèle Seerat-e-Nabi en utilisant l'index LLAMA pour le stockage et la requête vectoriels.

Caractéristiques

• Intégration FastAPI : un cadre Web léger pour gérer les demandes d'API.
• INDEX LLAMA : utilise l'indice LLAMA pour le stockage et l'interrogation des vecteurs de documents.
• Chargement du modèle dynamique : charge automatiquement et persiste l'index, assurant une interrogation efficace.

Structure de fichiers

• main.py : fichier d'application principal à l'aide de FastAPI pour configurer les points de terminaison.
• llama_model.py : script pour charger des données, créer un index et les interroger en utilisant l'index llama.
• clean.py : Pretr des données brutes pour créer un ensemble de données propres adapté à l'indexation.

Composants clés

Application Fastapi ( main.py )

• Points de terminaison :
  • GET / : Simple Health Check Retour "OK".
  • GET /response/{question} : accepte une question et renvoie la réponse du modèle.
• Configuration du serveur : exécute le serveur sur port 8000 avec un rechargement activé.

Modèle de lama ( llama_model.py )

• Chargement et indexation des données :
  • Charge les documents d'un répertoire spécifié.
  • Crée et persiste un indice de magasin vectoriel.
• Manipulation de la requête :
  • Fournit une fonction pour interroger les réponses d'index et de récupération.

Prétraitement des données ( clean.py )

• Nettoyage des données :
  • Supprime les caractères non alphanumériques et les lignes vides.
  • Filtre les lignes avec moins de trois mots.
• Enregistrer les données propres : enregistre les données prétraitées dans un nouveau fichier.

Défis et solutions

• Intégration du modèle : assurer une intégration transparente de l'indice LLAMA avec FastAPI nécessitait une manipulation minutieuse du chargement et de l'indexation des données.
• Prétraitement des données : nettoyer et préparer les données pour créer un index significatif impliquait plusieurs étapes de prétraitement.
• Interrogation efficace : la mise en œuvre d'un système pour interroger efficacement l'index et fournir des réponses exigeant des mécanismes d'indexation et de gestion de la requête robustes.

Commencer

1. Clone le référentiel.
2. Installez les dépendances requises.
3. Exécutez l'application Fastapi.

git clone https://github.com/faisal-fida/seerat-e-nabi-model-llama-index.git
cd seerat-e-nabi-model-llama-index
pip install -r requirements.txt
uvicorn main:app --reload

Conclusion

Ce projet démontre l'intégration de FastAPI avec l'index de lama pour créer une application Web réactive capable de répondre aux questions basées sur des données indexées. Il met en évidence les complexités de l'intégration du modèle, du prétraitement des données et de la requête efficace.

N'hésitez pas à contribuer ou à soulever des problèmes si vous rencontrez des problèmes!