qa_llm

Tubería de respuesta de pregunta con VectordB y modelos de lenguaje grande (LLM)

Descripción general:

Bienvenido a la tubería de preguntas sobre la pregunta con VectordB y Modelos de lenguaje grande (LLM). Este proyecto tiene como objetivo crear una tubería eficiente y escalable para tareas de respuesta de pregunta utilizando ChromAdB, que es una base de datos de vectores de código abierto, junto con LLAMA2, que también es un modelo de lenguaje grande (LLM) de código abierto (LLM).

Flujo de trabajo:

1. Entrada del usuario: los usuarios proporcionan fuentes de datos textuales en formatos como .pdf. Estos documentos sirven como base para generar respuestas.

2. Carga de documentos: el cargador de documentos de Langchain se emplea para cargar y preprocesar de manera eficiente los documentos proporcionados, asegurando la compatibilidad con las tareas aguas abajo.

3. Chounking de documentos: los documentos cargados se dividen en fragmentos más pequeños y manejables para mejorar la eficiencia del proceso de respuesta-respuesta.

4. Almacenamiento de incrustación en VectordB (ChromAdB): las integridades de los fragmentos se generan y almacenan en ChromAdB, la tecnología subyacente de VectordB, que permite una recuperación de información rápida y precisa.

5. Procesamiento de consultas: las consultas de los usuarios se convierten en incrustaciones, lo que permite una comparación perfecta con los incrustaciones de documentos almacenados.

6. Búsqueda de la base de datos de vectores: el vectordB se consulta con los incrustaciones generadas para recuperar fragmentos de información relevantes, optimizando el proceso de respuesta-respuesta.

7. LLM Processing (LLAMA2): Las integridades recuperadas se pasan a LLAMA2, un LLM, que genera respuestas contextuales y precisas a las consultas de los usuarios.

Empezando

Para iniciar la tubería de preguntas sobre la pregunta, los usuarios deben proporcionar sus fuentes de datos textuales en formatos compatibles (el formato compatible actualmente son: PDF, CSV, HTML, XLSX, DOCX, XML, JSON ). Siga la siguiente sección para garantizar la instalación y configuración adecuadas de las dependencias.

Cómo ejecutar la guía

Siga estos pasos para ejecutar la tubería de preguntas sobre preguntas correctamente:

1. Instalar dependencias: asegúrese de tener todas las dependencias requeridas instaladas. Ejecute los siguientes comandos en una celda de cuaderno:

    !pip install langchain
   !pip install PyPDF
   !pip install sentence_transformers
   !pip install chromadb
   !pip install accelerate
   !pip install bitsandbytes
   !pip install jq
   !pip install unstructured
   

2. Personalizar los parámetros:

   Abra el cuaderno y localice los siguientes parámetros:

   • JQ_SCHEMA: Personalice este parámetro de acuerdo con su esquema de datos. Defina la estructura de sus datos textuales para una carga y procesamiento adecuados.

   • input_path: especifique la ruta a su fuente de datos textual, como un archivo .pdf. Asegúrese de que la ruta esté configurada correctamente en su documento.

3. Token de autorización de la cara abrazada: asegúrese de obtener un token de autorización de Hugging Face para descargar el modelo LLAMA2. Este token es crucial para acceder al modelo. Establezca el token en la sección apropiada del cuaderno.

4. Ejecute el cuaderno: ejecute la celda del cuaderno Jupyter por celda. Asegúrese de que cada celda se ejecute con éxito sin errores.

Contribuciones

Agradecemos las contribuciones y los comentarios de la comunidad. Ya sea que identifique problemas, tenga sugerencias de mejoras o desea extender la funcionalidad, su aporte es valioso para nosotros. Siéntase libre de contribuir al proyecto. Gracias por explorar nuestro proyecto.