airgapped offfline rag

Trapo fuera de línea de aire apagado

Este proyecto de Vincent Koc implementa un sistema de respuesta de preguntas de generación de recuperación (RAG) para documentos. Utiliza modelos LLAMA 3, Mistral y Gemini para la inferencia local con Llama C ++, Langchain para orquestación, ChromAdB para el almacenamiento vectorial y Strewlit para la interfaz de usuario.

Tabla de contenido

• Trapo fuera de línea de aire apagado
  • Tabla de contenido
  • Configuración
  • Ejecutando la aplicación
    • En la zona
    • Usando Docker
  • Uso
  • Configuración
  • Características
    • Características compatibles
    • Características futuras
  • Que contribuye
  • Licencia
  • Expresiones de gratitud

Configuración

1. Asegúrese de que esté instalado Python 3.9 : puede usar pyenv :

    pyenv install 3.9.16
   pyenv local 3.9.16
   pyenv rehash
   

2. Crear un entorno virtual e instalar dependencias :

    make setup
   

3. Descargue modelos : descargue los modelos Llama 3 (8b) y Mistral (7b) en formato GGUF y colóquelos en los models/ directorio. TheBloke on Hugging Face ha compartido las modelos aquí:

   • Mistral-7B-InNSTRUCT-V0.2-GGUF
   • Llama-Pro-8B-Instructo-GGUF

   Los modelos de unsloth también se han probado y se pueden encontrar aquí:

   • Gemma-2-2B-IT.Q2_K.GGUF
   • Llama-3.2-3b-Innstruct-Q2_K.GGUF

4. Modelo de transformador de oración Qdrant : esto se descargará automáticamente en la primera ejecución. Si ejecuta el trapo de airepapado localmente, es mejor ejecutar la base de código con acceso a Internet inicialmente para descargar el modelo.

Ejecutando la aplicación

En la zona

 make run

Usando Docker

 make docker-build
make docker-run

Uso

1. Sube documentos PDF usando el cargador de archivos.
2. Seleccione el modelo que desea usar (por ejemplo, Mistral).
3. Ingrese su pregunta en la entrada de texto.
4. Haga clic en "Generar respuesta" para obtener una respuesta basada en el contenido del documento.

Configuración

Ajuste la configuración en config.yaml para modificar las rutas del modelo, los tamaños de los fragmentos y otros parámetros.

Características

Características compatibles

• Inferencia local con Llama C ++
• Soporte modelo para Llama 3 (3 y 3.1)
• Soporte de modelo para Mistral
• Soporte modelo para Géminis
• Soporte para modelos cuantificados
• Carga y procesamiento de documentos
• Sistema de preguntas sobre preguntas
• Modelo de transformador de oraciones para el almacenamiento vectorial
• Integración con Streamlit para la interfaz de usuario
• Soporte para respuestas de transmisión

Características futuras

• Integración con modelos adicionales (próximamente)
• Soporte de documentos que no son PDF (próximamente)
• Soporte para documentos de imagen (próximamente)
• Soporte para visualizar incrustaciones (próximamente)
• Soporte para la historia del chat (próximamente)
• Interfaz de usuario mejorada (próximamente)
• Soporte para documentos multimodales (próximamente)
• Exportar e importar configuraciones de trapo (próximamente)
• Exponer una API REST (próximamente)
• Observabilidad (próximamente)

Que contribuye

¡Las contribuciones son bienvenidas! Haga la bifurcación del repositorio y envíe una solicitud de extracción. Para cambios importantes, abra primero un problema para discutir lo que le gustaría cambiar.

Licencia

Este proyecto tiene licencia bajo la Licencia Pública General de GNU v3.0 (GPLV3). Consulte el archivo de licencia para obtener más detalles.

Esto significa:

• Puede usar, modificar y distribuir libremente este software.
• Si modifica o extiende este software, debe liberar sus cambios en el GPL.
• Debe incluir el aviso original de derechos de autor y el texto completo de la licencia GPL.
• No hay garantía para este software gratuito.

Para obtener más información, visite GNU GPL V3.

Expresiones de gratitud

• Gracias a TheBloke y no existe por compartir los modelos cuantificados.
• Este proyecto utiliza varias bibliotecas de código abierto. Consulte requisitos.txt para más detalles.