NinjaSearchWithHumanGPT

Ninjasearchwithhumangpt?

(Это POC) Агент с человеком в цикле, который может искать в Интернете информацию при обходе обнаружения ботов для частных сайтов.

Начиная

Чтобы начать с репо, вам нужно будет настроить необходимые переменные среды. В частности, вам нужно будет создать и установить следующие переменные среды:

• Openai_api_key: ваш ключ API Openai
• Zenrows_api_proxy: прокси для обхода обнаружения ботов на частных веб -сайтах*

GPT-3.5 от OpenAI используется по умолчанию, но вы можете использовать другие модели поддержки Langchain.

* Zenrows: https://zenrows.com

Кроме того, вам нужно будет убедиться, что зависимости установлены:

python3 -m pip install requirements.txt

Использование

После того, как вы установите необходимые переменные среды и установите пакет Langchain, вы можете начать использовать чат -бот. Просто запустите файл main.py:

python3 main.py

Чатбот побудит вас следовать определенным требованиям, чтобы достичь вашей цели. Если цель неясна или не предоставлена, чат -бот побудит вас спросить «человека» (вы), используя инструмент «человеческий», который включен по умолчанию. Если цель все еще неясна или недостаточно подробна, чат -бот побудит вас попросить «человека» предоставить больше информации.

Чатбот также включает в себя пользовательский инструмент под названием Ninjasearch, который предназначен для обхода обнаружения бота для частных сайтов. Инструмент вычистит указанный URL и вернет сводку содержимого страницы.

Инструмент суммирует ответ от URL -адреса на следующих шагах:

1. Разделите HTML на куски, используя RecursiveCharacterTextSplitter
2. Создайте векторное представление кусочков и сохраните его в DB (мы использовали Faiss в этом примере)
3. Создайте ретривер ( RetrievalQA ) из LLM и DB, чтобы мы могли задать вопросы из содержания страницы.

Примечание

• Я успешно протестировался с URL -адресами LinkedIn (например, https://www.linkedin.com/in/hirokihori), но после нескольких попыток меня начали отвергнуть. Это все еще не работает на момент написания этого (15.04.2023). Я повернул свой прокси, но он все еще блокирует меня, поэтому LinkedIn автоматически начал блокировать запросы через ZenRows (?) Не совсем уверен.
• Мне нравится тот факт, что LLM спрашивает меня, не уверены ли они в ответе. Автономные агенты с человеком в петле довольно сильны, и я считаю, что это путь.

Внося

Если вы хотите внести свой вклад в этот проект, отправьте запрос на привлечение на GitHub.