NinjaSearchWithHumanGPT

NinjasearchWithHumangpt?

(Este é um POC) Um agente com humano no loop que pode pesquisar informações na Web enquanto ignora a detecção de bot para sites privados.

Começando

Para começar com o repositório, você precisará configurar as variáveis ​​de ambiente necessárias. Em particular, você precisará criar e definir as seguintes variáveis ​​de ambiente:

• OpenAi_API_KEY: sua chave de API do OpenAI
• ZenRows_API_Proxy: um proxy para ignorar a detecção de bot em sites privados*

O GPT-3.5 do OpenAI é usado por padrão, mas você pode usar outros suportes de Langchain de outros modelos.

* ZenRows: https://zenrows.com

Além disso, você precisará garantir que as dependências estejam instaladas:

python3 -m pip install requirements.txt

Uso

Depois de configurar as variáveis ​​de ambiente necessárias e instalar o pacote Langchain, você pode começar a usar o chatbot. Basta executar o arquivo main.py:

python3 main.py

O chatbot solicitará que você siga certos requisitos para atingir seu objetivo. Se a meta não for clara ou não, o chatbot solicitará que você peça a uma ferramenta "humana" (você) usando a ferramenta "humana", que é incluída por padrão. Se a meta ainda não estiver clara ou não é detalhada, o chatbot solicitará que você peça ao "humano" que forneça mais informações.

O chatbot também inclui uma ferramenta personalizada chamada Ninjasearch, projetada para ignorar a detecção de bot para sites privados. A ferramenta raspará o URL especificado e retornará um resumo do conteúdo da página.

A ferramenta resume a resposta do URL nas etapas a seguir:

1. Divida o HTML em pedaços usando RecursiveCharacterTextSplitter
2. Crie uma representação vetorial dos pedaços e salve -a em DB (usamos o FAISS neste exemplo)
3. Crie um Retriever ( RetrievalQA ) do LLM e DB para que possamos fazer perguntas a partir do conteúdo da página.

Observação

• Testei com sucesso o LinkedIn URLs (por exemplo, https://www.linkedin.com/in/hirokihori), mas depois de algumas tentativas, comecei a ser rejeitado. Ainda não está funcionando no momento em que escrevia isso (15/4/2023). Eu girei meu proxy, mas ele ainda me bloqueia, então o LinkedIn começou automaticamente a bloquear as solicitações através do ZenRows (?) Não tenho muita certeza.
• Eu amo o fato de que o LLM me pergunta se eles não têm certeza da resposta. Agentes autônomos com humanos no loop são bastante poderosos e acredito que esse é o caminho a percorrer.

Contribuindo

Se você deseja contribuir com este projeto, envie uma solicitação de tração no GitHub.