NinjaSearchWithHumanGPT

Ninjasearchwithhumangpt?

(Este es un POC) Un agente con humano en el bucle que puede buscar información en la Web mientras evita la detección de BOT para sitios privados.

Empezando

Para comenzar con el repositorio, deberá configurar las variables de entorno necesarias. En particular, deberá crear y establecer las siguientes variables de entorno:

• OpenAI_API_KEY: su tecla API OpenAI
• Zenrows_api_proxy: un proxy para evitar la detección de bot en sitios web privados*

El GPT-3.5 de Openai se usa de forma predeterminada, pero puede usar otros modelos de soporte de Langchain.

* Zenrows: https://zenrows.com

Además, deberá asegurarse de que las dependencias estén instaladas:

python3 -m pip install requirements.txt

Uso

Una vez que haya configurado las variables de entorno necesarias e haya instalado el paquete Langchain, puede comenzar a usar el chatbot. Simplemente ejecute el archivo main.py:

python3 main.py

El chatbot le pedirá que siga ciertos requisitos para lograr su objetivo. Si el objetivo no está claro o no está proporcionado, el chatbot le pedirá que le solicite a un "humano" (usted) usando la herramienta "humana", que se incluye de forma predeterminada. Si el objetivo aún no está claro o no está lo suficientemente detallado, el chatbot le pedirá que le solicite al "humano" que proporcione más información.

El chatbot también incluye una herramienta personalizada llamada Ninjasearch que está diseñada para evitar la detección de bot para sitios web privados. La herramienta raspará la URL especificada y devolverá un resumen del contenido de la página.

La herramienta resume la respuesta de la URL en los siguientes pasos:

1. Divida el HTML en trozos utilizando RecursiveCharacterTextSplitter
2. Cree una representación vectorial de los trozos y guárdelo en DB (usamos FAISS en este ejemplo)
3. Cree un Retriever ( RetrievalQA ) de LLM y DB para que podamos hacer preguntas del contenido de la página.

Nota

• He probado con éxito con URL de LinkedIn (por ejemplo, https://www.linkedin.com/in/hirokihori), pero después de un par de intentos, comencé a ser rechazado. Todavía no funciona al momento de escribir esto (25/04/2023). Roté mi proxy, pero todavía me bloquea, por lo que LinkedIn comenzó automáticamente a bloquear las solicitudes a través de ZenRows (?) No estoy realmente seguro.
• Me encanta el hecho de que el LLM me pregunta si no están seguros de la respuesta. Los agentes autónomos con humanos en el bucle son bastante poderosos y creo que ese es el camino a seguir.

Que contribuye

Si desea contribuir a este proyecto, envíe una solicitud de extracción en GitHub.