custom rag app

Aplicación de trapo personalizada

General

Una aplicación que utiliza Streamlit para ofrecer una interfaz fácil de usar para crear una tubería RAG. La aplicación permite al usuario cargar sus propios FIS PDF, que luego se procesan y almacenan en una nueva base de datos vectorial (o existente).

El usuario puede consultar la base de datos y recibir la respuesta más relevante generada a partir de un modelo LLM. El LLM que elegimos usar es el modelo GEMMA: 2B, y para el servicio del modelo usamos ollama.

La aplicación también ofrece la capacidad de eliminar una base de datos existente, aunque actualmente esta funcionalidad es limitada para Windows.

Configuración

Para ejecutar la aplicación, primero debe clonar este repositorio. Esto se puede hacer con el comando:

git clone https://github.com/Jimlibo/custom-rag-app.git

Después de haber clonado el repositorio, puede navegar al directorio de la aplicación:

 cd custom-rag-app

Ejecutar usando Docker

Si tiene instalados Docker y Docker-Compose, puede ejecutar la aplicación con los siguientes comandos:

docker-compose up

Ejecutar usando Streamlit

Si no tiene instalado Docker, primero puede instalar los paquetes requeridos en requisitos.txt y luego ejecutar la aplicación a través de Streamlit. Esto se puede hacer con los siguientes comandos:

 cd src
pip install -r requirements.txt
streamlit run app.py

Para ejecutar una inferencia en un LLM, también debe tener el servicio Ollama en funcionamiento. Si es la primera vez que ejecuta la aplicación, debe extraer el modelo Gemma: 2B del repositorio Ollama antes de servirla. Para extraer el modelo, abra otro terminal y ejecute el comando:

ollama pull gemma:2b

Para servir al modelo, ejecute:

ollama serve

️ Si la aplicación no se abre automáticamente, puede navegar a http: // localhost: 8501/en el navegador de su elección.

Licencia

Distribuido bajo la licencia MIT. Vea la licencia para más información.