NinjaSearchWithHumanGPT

ninjasearchwithhumangpt？

（這是一個POC）一個循環中的人物的代理商，可以在繞過私人站點的機器人檢測時搜索網絡以獲取信息。

入門

為了開始回購，您需要設置必要的環境變量。特別是，您需要創建和設置以下環境變量：

• OpenAI_API_KEY：您的OpenAI API密鑰
• zenrows_api_proxy：繞過私人網站上的機器人檢測的代理*

默認情況下使用OpenAI的GPT-3.5，但您可以使用其他型號Langchain支持。

* Zenrows：https：//zenrows.com

此外，您將需要確保安裝依賴項：

python3 -m pip install requirements.txt

用法

設置必要的環境變量並安裝了Langchain軟件包後，您可以開始使用聊天機器人。只需運行main.py文件：

python3 main.py

聊天機器人將提示您遵循某些要求，以實現自己的目標。如果目標不清楚或不提供，則聊天機器人將提示您使用“人類”工具詢問“人類”（您），默認情況下包含在內。如果目標仍然不清楚或不夠詳細，則聊天機器人將提示您要求“人類”提供更多信息。

聊天機器人還包括一個名為Ninjasearch的自定義工具，該工具旨在繞過私人網站的機器人檢測。該工具將刮擦指定的URL並返回頁面內容的摘要。

該工具在以下步驟中總結了URL的響應：

1. 使用RecursiveCharacterTextSplitter將HTML分成塊
2. 創建塊的向量表示並將其保存到DB中（我們在此示例中使用了Faiss）
3. 從LLM和DB創建一個檢索器（ RetrievalQA ），以便我們可以從頁面內容中提出問題。

筆記

• 我已經成功測試了LinkedIn URL（例如，https://www.linkedin.com/in/hirokihori），但是經過幾次嘗試，我開始被拒絕。在撰寫本文時（4/15/2023）仍無法使用。我旋轉了代理，但它仍然阻止了我，因此LinkedIn會自動開始通過Zenrows（？）不確定的Zenrows（？）阻止請求。
• 我喜歡LLM問我是否不確定答案的事實。具有人類在循環的自主代理非常強大，我相信這是必須走的路。

貢獻

如果您想為該項目做出貢獻，請在Github上提交拉動請求。