document assistant

Asistente de documentos de Ash

Esta aplicación Python crea un asistente de documento simple que usa Streamlit, Pinecone (Vector Store) y un modelo de idioma (OpenAI) para generar respuestas a las consultas de los usuarios.

Comando para descargar documentos en formato HTML

wget --mirror --convert-links --adjust-extension --page-requisites --no-parent -P langchain-docs --execute robots=off --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36" https://api.python.langchain.com/en/latest/

1. Main.py

Este script crea una aplicación web usando Streamlit. Proporciona una interfaz de usuario para la asistencia de documentos, que permite a los usuarios enviar preguntas y recibir respuestas que incluyan fuentes.

Características clave

• Interfaz Streamlit: usa Streamlit para la interfaz de usuario, incluidos los campos de entrada y la gestión de la sesión.
• Clasificación de URL de origen: incluye una función create_sources_string que toma un conjunto de URL, las clasifica y las formatea como una lista numerada.

2. Ingestión.py

Este script es responsable de ingerir y procesar documentos, posiblemente para una aplicación de aprendizaje automático o búsqueda. Utiliza variables e interfaces de entorno con un servicio llamado Pinecone.

Características clave

• Carga y división de documentos: carga documentos de una fuente especificada y los divide en trozos.
• Integración de Pinecone: inserta vectores de documentos en una tienda Vector Pinecone.

3. Core.py

Este archivo define las funcionalidades centrales para ejecutar consultas del modelo de idioma utilizando un sistema de recuperación. Parece estar estrechamente integrado con Pinecone para el almacenamiento y recuperación de vectores.

Características clave

• Configuración del entorno: Carga variables de entorno.
• Procesamiento de consultas: proporciona una función run_llm que procesa una consulta utilizando una cadena de conversación con un modelo de lenguaje y un retriever de documentos.