Retrieval Augmented Generation Engine with LangChain and Streamlit

Motor de generación aumentada de recuperación con langchain, racionalización y pinecone

Aplicación de acceso en la plataforma de nube de línea de transmisión

Descripción general

El motor aumentado de recuperación (RAG) es una herramienta poderosa para la recuperación de documentos, el resumen y la respuesta interactiva. Este proyecto utiliza Langchain, Streamlit y Pinecone para proporcionar una aplicación web perfecta para que los usuarios realicen estas tareas. Con RAG, puede cargar fácilmente múltiples documentos PDF, generar integridades vectoriales para texto dentro de estos documentos y realizar interacciones conversacionales con los documentos. El historial de chat también se recuerda por una experiencia más interactiva.

Características

• Aplicación web de Streamlit : el proyecto se crea utilizando Streamlit, que proporciona una interfaz web intuitiva e interactiva para los usuarios.
• Campos de entrada : los usuarios pueden ingresar credenciales esenciales como la tecla API de OpenAI y la tecla API Pinecone a través de campos de entrada dedicados.
• Subcadero de documentos : los usuarios pueden cargar múltiples archivos PDF, que luego se procesan para un análisis posterior.
• División de documentos : los PDF cargados se dividen en trozos de texto más pequeños, asegurando la compatibilidad con modelos con límites de token.
• INCREGOS VECTORES : Los trozos de texto se convierten en embedidas vectoriales, lo que facilita la realización de tareas de recuperación y preguntas.
• Almacenamiento de vectores flexibles : puede optar por almacenar integridades vectoriales, ya sea en Pinecone o en una tienda vectorial local, proporcionando flexibilidad y control.
• Conversaciones interactivas : los usuarios pueden participar en conversaciones interactivas con los documentos, hacer preguntas y recibir respuestas. El historial de chat se conserva como referencia.

Requisitos previos

Antes de ejecutar el proyecto, asegúrese de tener los siguientes requisitos previos:

• Python 3.7+
• Langchain
• Racionalizar
• Piña
• Una llave de API de OpenAI
• Documentos PDF para cargar

Uso

1. Clonar el repositorio de su máquina local:

   git clone https://github.com/mirabdullahyaser/Retrieval-Augmented-Generation-Engine-with-LangChain-and-Streamlit.git
   cd Retrieval-Augmented-Generation-Engine-with-LangChain-and-Streamlit

2. Instale las dependencias requeridas ejecutando:

   pip install -r requirements.txt

3. Ejecute la aplicación Streamlit:

   streamlit run src/rag_engine.py

4. Acceda a la aplicación abriendo un navegador web y navegando a la URL proporcionada.

5. Ingrese su tecla API OpenAI, la tecla API Pinecone, el entorno Pinecone y el nombre del índice Pinecone en los campos respectivos. Puede proporcionarlos en la barra lateral de la aplicación o colocarlos en el archivo Secrets.toml en el directorio .streamlit

6. Cargue los documentos PDF que desea analizar.

7. Haga clic en el botón "Enviar documentos" para procesar los documentos y generar integridades vectoriales.

8. Participe en conversaciones interactivas con los documentos escribiendo sus preguntas en el cuadro de entrada de chat.

Colaboradores

Mir Abdullah Yaser

Contacto

Si tiene alguna pregunta, sugerencia o desea discutir este proyecto más a fondo, no dude en ponerse en contacto conmigo:

• Correo electrónico
• LinkedIn

¡Estoy abierto a la colaboración y estaría feliz de conectarme!