NinjaSearchWithHumanGPT

ninjasearchwithhumangpt？

（これはPOCです）ループ内の人間のエージェントで、プライベートサイトのボット検出をバイパスしながら情報をWebに検索できます。

はじめる

リポジトリを開始するには、必要な環境変数を設定する必要があります。特に、次の環境変数を作成して設定する必要があります。

• Openai_Api_key：OpenAI APIキー
• ZenRows_Api_Proxy：プライベートWebサイトでボット検出をバイパスするためのプロキシ*

OpenaiのGPT-3.5はデフォルトで使用されますが、Langchainサポートの他のモデルを使用できます。

* Zenrows：https：//zenrows.com

さらに、依存関係がインストールされていることを確認する必要があります。

python3 -m pip install requirements.txt

使用法

必要な環境変数をセットアップしてLangchainパッケージをインストールしたら、チャットボットの使用を開始できます。 Main.pyファイルを実行するだけです。

python3 main.py

チャットボットは、目標を達成するために特定の要件に従うように促します。目標が不明であるか、提供されていない場合、チャットボットは、デフォルトで含まれる「人間」ツールを使用して「人間」（あなた）に尋ねるように促します。目標がまだ不明であるか、十分に詳細でない場合、チャットボットは「人間」により多くの情報を提供するように依頼するように促します。

チャットボットには、プライベートWebサイトのボット検出をバイパスするように設計されたNinjasearchというカスタムツールも含まれています。このツールは、指定されたURLをスクレイプし、ページの内容の概要を返します。

このツールは、次の手順でURLからの応答を要約しています。

1. RecursiveCharacterTextSplitterを使用して、HTMLをチャンクに分割します
2. チャンクのベクトル表現を作成し、DBに保存します（この例ではFAISSを使用しました）
3. LLMとDBからRetriever（ RetrievalQA ）を作成して、ページのコンテンツから質問をすることができます。

注記

• LinkedIn URLS（https://www.linkedin.com/in/hirokihoriなど）で正常にテストしましたが、数回の試みの後、拒否され始めました。これを書いている時点ではまだ機能していません（4/15/2023）。私はプロキシを回転させましたが、それでも私をブロックしているので、LinkedInはZenrows（？）を介してリクエストを自動的にブロックし始めました（？）。
• LLMが答えについてわからないかどうか尋ねているという事実が大好きです。ループの人間を持つ自律エージェントは非常に強力であり、それが道だと思います。

貢献

このプロジェクトに貢献したい場合は、GitHubにプルリクエストを送信してください。