document assistant

Assistant de document par Ash

Cette application Python crée un simple assistant de document utilisant Streamlit, PineCone (Vector Store) et un modèle de langue (OpenAI) pour générer des réponses aux requêtes utilisateur.

Commande pour télécharger des documents au format HTML

wget --mirror --convert-links --adjust-extension --page-requisites --no-parent -P langchain-docs --execute robots=off --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36" https://api.python.langchain.com/en/latest/

1. Main.py

Ce script crée une application Web à l'aide de Streamlit. Il fournit une interface utilisateur pour l'assistance des documents, permettant aux utilisateurs de soumettre des questions et de recevoir des réponses qui incluent des sources.

Caractéristiques clés

• Interface rationalisée: utilise Streamlit pour l'interface utilisateur, y compris les champs d'entrée et la gestion de session.
• Tri d'URL de source: inclut une fonction create_sources_string qui prend un ensemble d'URL, les trie et les formats en tant que liste numérotée.

2. ingestion.py

Ce script est responsable de l'ingestion et du traitement des documents, éventuellement pour une application d'apprentissage automatique ou de recherche. Il utilise des variables d'environnement et des interfaces avec un service appelé PineCone.

Caractéristiques clés

• Chargement et division de documents: charge les documents d'une source spécifiée et les divise en morceaux.
• Intégration de Pinecone: insère des vecteurs de documents dans un magasin de vecteurs de pinone.

3. Core.py

Ce fichier définit les fonctionnalités de base pour la gestion des requêtes de modèle de langage à l'aide d'un système de récupération. Il semble être étroitement intégré à Pinecone pour le stockage et la récupération vectoriels.

Caractéristiques clés

• Configuration de l'environnement: charge des variables d'environnement.
• Traitement de la requête: fournit une fonction run_llm qui traite une requête à l'aide d'une chaîne conversationnelle avec un modèle de langue et un récupérateur de document.