Seerat e Nabi Model with Llama Index

Modelo Seerat-e-Nabi con índice de llama

Este proyecto es una aplicación web que utiliza un backend de FastAPI para proporcionar respuestas a preguntas sobre el modelo Seerat-e-Nabi utilizando el índice LLAMA para el almacenamiento y consultas vectoriales.

Características

• Integración de Fastapi : un marco web ligero para manejar las solicitudes de API.
• Índice de llamas : utiliza el índice de LLAMA para almacenar y consultar vectores de documentos.
• Carga de modelo dinámico : carga y persiste automáticamente el índice, asegurando una consulta eficiente.

Estructura de archivo

• main.py : archivo de aplicación principal con FastAPI para configurar los puntos finales.
• llama_model.py : script para cargar datos, crear un índice y consultarlo usando el índice LLAMA.
• clean.py : preprocesos datos sin procesar para crear un conjunto de datos limpio adecuado para la indexación.

Componentes clave

Aplicación Fastapi ( main.py )

• Puntos finales :
  • GET / : Simple Health Check Revolver "OK".
  • GET /response/{question} : acepta una pregunta y devuelve la respuesta del modelo.
• Configuración del servidor : ejecuta el servidor en port 8000 con recarga habilitado.

Modelo de Llama ( llama_model.py )

• Carga e indexación de datos :
  • Carga documentos de un directorio especificado.
  • Crea y persiste un índice de tienda vectorial.
• Manejo de consultas :
  • Proporciona una función para consultar el índice y las respuestas de obtención.

Preprocesamiento de datos ( clean.py )

• Limpieza de datos :
  • Elimina caracteres no alfanuméricos y líneas vacías.
  • Filtra las líneas con menos de tres palabras.
• Guardar datos limpios : guarda los datos preprocesados ​​en un nuevo archivo.

Desafíos y soluciones

• Integración del modelo : garantizar la integración perfecta del índice de LLAMA con FastAPI requirió un manejo cuidadoso de la carga e indexación de datos.
• Preprocesamiento de datos : limpieza y preparación de los datos para crear un índice significativo involucró múltiples pasos de preprocesamiento.
• Consulta eficiente : implementar un sistema para consultar eficientemente el índice y proporcionar respuestas exigió mecanismos sólidos de indexación y manejo de consultas.

Empezando

1. Clon el repositorio.
2. Instale las dependencias requeridas.
3. Ejecute la aplicación Fastapi.

git clone https://github.com/faisal-fida/seerat-e-nabi-model-llama-index.git
cd seerat-e-nabi-model-llama-index
pip install -r requirements.txt
uvicorn main:app --reload

Conclusión

Este proyecto demuestra la integración de FASTAPI con el índice LLAMA para crear una aplicación web receptiva capaz de responder preguntas basadas en datos indexados. Destaca las complejidades de la integración del modelo, el preprocesamiento de datos y la consulta eficiente.

¡Siéntase libre de contribuir o plantear problemas si encuentra algún problema!