chatWeb

Chatweb

Doc anglais 中文文档

ChatWeb peut explorer n'importe quelle page Web ou extraire du texte de PDF, DOCX, Fichiers TXT et générer un résumé intégré. Il peut également répondre à vos questions en fonction du contenu du texte. Il est implémenté à l'aide du chatapi et de l'embeddingapi basé sur GPT3.5, ainsi qu'une base de données vectorielle.

Principe de base

Le principe de base est similaire aux projets existants tels que le chatpdf et le service client automatisé AI.

Crawl pages Web Extrait du contenu de texte Utiliser l'API d'intégration de GPT3.5 pour générer des vecteurs pour chaque paragraphe Calculez le score de similitude entre le vecteur de chaque paragraphe et l'ensemble du vecteur du texte pour générer un résumé Store Le mappage de texte vectoriel dans une base de données vectorielle générer des mots clés à partir de l'entrée utilisateur Générer un vecteur à partir des mots clés Utilisez la base de données vectorielle pour effectuer une recherche de voisin le plus proche et renvoyer une liste des textes les plus similaires L'API de chat de GPT3.5 pour concevoir une invite qui répond à la question de l'utilisateur en fonction des textes les plus similaires de la liste. L'idée est d'extraire le contenu pertinent à partir d'une grande quantité de texte, puis de répondre à des questions en fonction de ce contenu, qui peut réaliser un effet similaire à la permission des limites de jetons.

Une amélioration a été apportée pour générer des vecteurs en fonction des mots clés plutôt que de la question de l'utilisateur, ce qui augmente la précision de la recherche de textes pertinents.

Commencer

Installation manuelle:

• Installer python3
• Téléchargez ce référentiel en exécutant git clone https://github.com/SkywalkerDarren/chatWeb.git
• Accédez au répertoire en exécutant cd chatWeb
• Copy config.example.json à config.json
• Modifier config.json et définir open_ai_key sur votre touche API OpenAI
• Installer les dépendances en exécutant pip3 install -r requirements.txt
• Démarrez l'application en exécutant python3 main.py

Docker:

Si vous préférez, vous pouvez également exécuter ce projet à l'aide de Docker:

• Construisez le conteneur à l'aide de docker-compose build (nécessaire une seule fois lorsque vous ne prévoyez pas de contribuer à ce référentiel)
• Copier config.example.json à config.json et définir toutes les choses nécessaires. L'exemple de configuration est déjà bien pour l'exécution avec Docker, pas besoin de changer quoi que ce soit là-bas, si vous n'avez pas l'Open_AI_KEY dans vos variables Env, vous pouvez également le définir ici, ou plus tard si vous exécutez cette application.
• Exécutez le conteneur: "Docker-Compose"
• Ouvrez l'application dans le navigateur: http://localhost:7860

Définir la langue

• Modifier config.json , définir language sur English ou toute autre langue

Sélection de mode

• Modifiez config.json et définissez mode sur console , api ou webui pour choisir le mode de démarrage.
• En mode console , tapez /help à afficher les commandes.
• En mode api , un service API peut être fourni au monde extérieur. api_port et api_host peut être défini dans config.json .
• En mode webui , un service d'interface utilisateur Web peut être fourni. webui_port peut être défini dans config.json , défautant vers http://127.0.0.1:7860 .

Mode Stream

• Modifier config.json et définir use_stream sur true .

Régler la température

• Modifier config.json et régler temperature sur une valeur comprise entre 0 et 1.
• Plus la valeur est petite, plus la réponse sera conservatrice et stable. Plus la valeur est grande, plus la réponse est audacieuse, ce qui entraîne peut-être des «hallucinations».

Paramètres de proxy openai

• Modifier config.json et ajouter open_ai_proxy pour votre adresse proxy, par exemple:

 "open_ai_proxy": {
  "http": "socks5://127.0.0.1:1081",
  "https": "socks5://127.0.0.1:1081"
}

Installez PostgreSQL (facultatif)

• Modifier config.json et définir use_postgres sur true .
• Installez PostgreSQL.
  • L'adresse SQL par défaut est postgresql://localhost:5432/mydb , ou vous pouvez le définir dans config.json .
• Installez le plugin PGVector.

Compiler et installer l'extension (prendre en charge Postgres 11+).

git clone --branch v0.4.0 https://github.com/pgvector/pgvector.git
cd pgvector
make
make install # may need sudo

Puis chargez-le dans la base de données dans laquelle vous souhaitez l'utiliser

 CREATE EXTENSION vector;

• Installez la dépendance avec PIP: pip3 install psycopg2

Exemple

Please enter the link to the article or the file path of the PDF/TXT/DOCX document: https://gutenberg.ca/ebooks/hemingwaye-oldmanandthesea/hemingwaye-oldmanandthesea-00-e.html
Please wait for 10 seconds until the webpage finishes loading.
The article has been retrieved, and the number of text fragments is: 663
...
=====================================
Query fragments used tokens: 7219, cost: $ 0.0028876
Query fragments used tokens: 7250, cost: $ 0.0029000000000000002
Query fragments used tokens: 7188, cost: $ 0.0028752
Query fragments used tokens: 7177, cost: $ 0.0028708
Query fragments used tokens: 2378, cost: $ 0.0009512000000000001
Embeddings have been created with 663 embeddings, using 31212 tokens, costing $ 0.0124848
The embeddings have been saved.
=====================================
Please enter your query (/help to view commands):

FAIRE

• Prise en charge des fichiers PDF / TXT / DOCX
• Prise en charge du stockage en mémoire sans base de données (FAISS)
• Prise en charge du flux
• Prise en charge de l'API
• Prise en charge des procurations
• Ajouter le support Colab
• Ajouter un support linguistique
• Support de la température
• Prise en charge de webui
• Autres fonctionnalités qui n'ont pas encore été pensées

Histoire des étoiles