NinjaSearchWithHumanGPT

ninjasearchwithhumangpt？

（这是一个POC）一个循环中的人物的代理商，可以在绕过私人站点的机器人检测时搜索网络以获取信息。

入门

为了开始回购，您需要设置必要的环境变量。特别是，您需要创建和设置以下环境变量：

• OpenAI_API_KEY：您的OpenAI API密钥
• zenrows_api_proxy：绕过私人网站上的机器人检测的代理*

默认情况下使用OpenAI的GPT-3.5，但您可以使用其他型号Langchain支持。

* Zenrows：https：//zenrows.com

此外，您将需要确保安装依赖项：

python3 -m pip install requirements.txt

用法

设置必要的环境变量并安装了Langchain软件包后，您可以开始使用聊天机器人。只需运行main.py文件：

python3 main.py

聊天机器人将提示您遵循某些要求，以实现自己的目标。如果目标不清楚或不提供，则聊天机器人将提示您使用“人类”工具询问“人类”（您），默认情况下包含在内。如果目标仍然不清楚或不够详细，则聊天机器人将提示您要求“人类”提供更多信息。

聊天机器人还包括一个名为Ninjasearch的自定义工具，该工具旨在绕过私人网站的机器人检测。该工具将刮擦指定的URL并返回页面内容的摘要。

该工具在以下步骤中总结了URL的响应：

1. 使用RecursiveCharacterTextSplitter将HTML分成块
2. 创建块的向量表示并将其保存到DB中（我们在此示例中使用了Faiss）
3. 从LLM和DB创建一个检索器（ RetrievalQA ），以便我们可以从页面内容中提出问题。

笔记

• 我已经成功测试了LinkedIn URL（例如，https://www.linkedin.com/in/hirokihori），但是经过几次尝试，我开始被拒绝。在撰写本文时（4/15/2023）仍无法使用。我旋转了代理，但它仍然阻止了我，因此LinkedIn会自动开始通过Zenrows（？）不确定的Zenrows（？）阻止请求。
• 我喜欢LLM问我是否不确定答案的事实。具有人类在循环的自主代理非常强大，我相信这是必须走的路。

贡献

如果您想为该项目做出贡献，请在Github上提交拉动请求。