CheatSheet Langchain Project

Proyecto de agente de IA: extracción automatizada de datos

Este proyecto aprovecha un agente de IA para la extracción y procesamiento de datos automatizados. El sistema permite a los usuarios cargar un archivo CSV o conectarse a una hoja de Google, luego interactuar con los datos utilizando consultas de lenguaje natural. El agente genera código Python basado en la consulta, ejecuta el código para manipular los datos y presenta el resultado en varios formatos, como una tabla, gráfica o cadena, o raspan datos útiles para su archivo.

Tabla de contenido

• Introducción
• Características
• Instalación
• Uso
• Estructura de proyectos
• Manejo de errores
• Licencias

Características

• Selección de fuente de datos: elija entre cargar un archivo CSV o conectar una hoja de Google.
• Consultas de lenguaje natural: interactuar con los datos utilizando consultas de lenguaje natural (por ejemplo, "consígueme la dirección de correo electrónico de {Company}").
• Generación de código dinámico: el sistema genera código Python basado en la consulta, que luego se ejecuta para manipular los datos.
• Formatos de salida: los resultados se muestran en diferentes formatos, como tablas, parcelas (barra/pastel) o cadenas, dependiendo de la consulta.
• Manejo de errores: el manejo robusto de errores garantiza una interacción sin problemas del usuario incluso en caso de problemas como formatos de archivo no válidos o errores de manipulación de datos.

Enlace de implementación

• Aplicación de hoja de trucos en Streamlit

Instalación

Para ejecutar este proyecto, necesita Python 3.7 o posterior. El proyecto utiliza varias bibliotecas de terceros que se pueden instalar a través de PIP.

• Clonar el repositorio

    git clone https://github.com/UjjawalGusain/CheatSheet-Langchain-Project.git
    cd Langchain-Web-Agent

• Instalar dependencias: cree un entorno virtual e instale las bibliotecas requeridas:

    python3 -m venv venv
    source venv/bin/activate  # On Windows, use `venvScriptsactivate`
    pip install -r requirements.txt

• Configure la API de Google Sheets:

  • Obtenga sus credenciales de Google API siguiendo los pasos en la documentación de la API de Google Sheets.
  • Descargue el archivo credencials.json y colóquelo en el directorio raíz del proyecto.

• Ejecute la aplicación:

    streamlit run dashboard.py

Después de ejecutar este comando, la aplicación comenzará y puede acceder a ella a través de su navegador.

API

Este proyecto utiliza múltiples API para manejar diferentes operaciones, incluido el raspado de datos e interacción con el modelo. Las API integradas son:

• API de Groq:

  • Modelo: Llama-3.1-70b-versátil

  • Propósito: La API Groq se utiliza para interactuar con el modelo de lenguaje grande para generar respuestas, ejecutar operaciones en el conjunto de datos y manejar consultas complejas. El modelo LLAMA-3.1-70B-versátil se utiliza para una comprensión y generación de lenguaje natural eficiente, ayudando a procesar consultas y producir resultados procesables.

  • Uso:

    • Se llama a la API para procesar consultas relacionadas con los datos, incluidas operaciones como extracción, filtrado y generación de resúmenes. La respuesta del modelo ayuda a dar forma a las operaciones aplicadas al conjunto de datos.

    • Las indicaciones utilizadas para el modelo están estructuradas en un formato específico para garantizar la respuesta deseada y evitar errores durante la ejecución.

• API RAPER:

  • Propósito: La API de raspador se utiliza para recopilar datos adicionales de fuentes externas y agregar estos datos al conjunto de datos.

  • Uso:

    • Una vez que se procesa el conjunto de datos y se realizan las operaciones necesarias, la API de raspador ayuda a enriquecer los datos con columnas adicionales raspadas de los recursos externos. Esto se hace agregando una columna "raspada" al marco de datos.

Uso

Carga de datos:

• Seleccione una fuente de datos de la barra lateral: cargue CSV o conecte las hojas de Google.

  • Si carga un CSV, elija un archivo para cargar. Si se conecta a las hojas de Google, proporcione la URL de la hoja.

• Ingrese una consulta:

  • En el área principal de la aplicación, ingrese una consulta de lenguaje natural en el cuadro de entrada. Por ejemplo, "consígueme la dirección de correo electrónico de {Company}".

• Ver resultados:

  • Según la consulta, el agente de IA generará el código Python, lo aplicará a los datos y devolverá el resultado. Los resultados se pueden mostrar como tablas, parcelas o cadenas.

Desafíos encontrados

• Formateo rápido y complejidad: un desafío significativo fue garantizar que las indicaciones transmitidas al modelo fueran formateadas y manejadas correctamente por el sistema. El modelo necesitaba generar respuestas precisas basadas en la estructura y complejidad de las consultas. También era importante mantener la claridad y la consistencia en la forma en que la información se extrajo y se presentó al usuario, especialmente con consultas complejas.

• Gestión de riesgos de seguridad con LLM: aprovechando los modelos de idiomas grandes (LLM) introdujo los riesgos de seguridad potenciales, particularmente en relación con la privacidad de los datos y el manejo de información confidencial. Asegurar que ningún datos confidenciales o privados se expusiera inadvertidamente mientras interactuaba con el modelo era un aspecto crítico del proceso de desarrollo. Tuvimos que implementar salvaguardas para minimizar estos riesgos al usar LLM para generar código y procesar datos.

Video de demostración del proyecto:

Recording_langchain.1.mp4