NinjaSearchWithHumanGPT

Ninjasearchwithhumangpt?

(Ceci est un POC) un agent avec humain dans la boucle qui peut rechercher des informations sur le Web tout en contournant la détection de bot pour les sites privés.

Commencer

Pour commencer le dépôt, vous devrez configurer les variables d'environnement nécessaires. En particulier, vous devrez créer et définir les variables d'environnement suivantes:

• Openai_api_key: votre clé API Openai
• Zenrows_api_proxy: un proxy pour contourner la détection de bot sur les sites Web privés *

Le GPT-3.5 d'OpenAI est utilisé par défaut, mais vous pouvez utiliser d'autres modèles de supports de Langchain.

* Zenrows: https://zenrows.com

De plus, vous devrez vous assurer que les dépendances sont installées:

python3 -m pip install requirements.txt

Usage

Une fois que vous avez configuré les variables d'environnement nécessaires et installé le package Langchain, vous pouvez commencer à utiliser le chatbot. Exécutez simplement le fichier main.py:

python3 main.py

Le chatbot vous incitera à suivre certaines exigences afin d'atteindre votre objectif. Si l'objectif n'est pas clair ou non fourni, le chatbot vous invite à demander un outil "humain" (vous) en utilisant l'outil "humain", qui est inclus par défaut. Si l'objectif n'est pas encore clair ou pas suffisamment détaillé, le chatbot vous incitera à demander à l'humain "de fournir plus d'informations.

Le chatbot comprend également un outil personnalisé appelé NinjaSearch qui est conçu pour contourner la détection de bot pour les sites Web privés. L'outil grattera l'URL spécifiée et renverra un résumé du contenu de la page.

L'outil résume la réponse de l'URL dans les étapes suivantes:

1. Divisez le HTML en morceaux à l'aide de RecursiveCharacterTextSplitter
2. Créez une représentation vectorielle des morceaux et enregistrez-le dans DB (nous avons utilisé FAISS dans cet exemple)
3. Créez un retriever ( RetrievalQA ) à partir du LLM et de la DB afin que nous puissions poser des questions à partir du contenu de la page.

Note

• J'ai testé avec succès avec des URL LinkedIn (par exemple, https://www.linkedin.com/in/hirokihori), mais après quelques tentatives, j'ai commencé à rejeter. Cela ne fonctionne toujours pas au moment de la rédaction de ceci (15/04/2023). J'ai tourné mon proxy, mais cela me bloque toujours, donc LinkedIn a automatiquement commencé à bloquer les demandes via Zenrows (?) Pas vraiment sûr.
• J'adore le fait que le LLM me demande s'ils ne sont pas sûrs de la réponse. Les agents autonomes avec des humains en boucle sont assez puissants et je crois que c'est la voie à suivre.

Contributif

Si vous souhaitez contribuer à ce projet, veuillez soumettre une demande de traction sur GitHub.