NinjaSearchWithHumanGPT

Ninjasearchwithhumangpt?

(이것은 POC입니다.) 루프에 인간이있는 에이전트는 개인 사이트의 봇 탐지를 우회하면서 웹을 검색 할 수 있습니다.

시작하기

Repo를 시작하려면 필요한 환경 변수를 설정해야합니다. 특히 다음 환경 변수를 생성하고 설정해야합니다.

• OpenAi_api_key : OpenAI API 키
• Zenrows_api_proxy : 개인 웹 사이트에서 봇 탐지를 우회하기위한 프록시*

OpenAi의 GPT-3.5는 기본적으로 사용되지만 Langchain 지원이 다른 모델을 사용할 수 있습니다.

* Zenrows : https://zenrows.com

또한 종속성이 설치되어 있는지 확인해야합니다.

python3 -m pip install requirements.txt

용법

필요한 환경 변수를 설정하고 Langchain 패키지를 설치 한 후에는 챗봇 사용을 시작할 수 있습니다. main.py 파일을 실행하기 만하면됩니다.

python3 main.py

챗봇은 목표를 달성하기 위해 특정 요구 사항을 준수하라는 메시지를 표시합니다. 목표가 명확하지 않거나 제공되지 않은 경우 챗봇은 기본적으로 포함 된 "인간"도구를 사용하여 "인간"(귀하)에게 요청하라는 메시지를 표시합니다. 목표가 여전히 불분명하거나 자세히 설명하지 않으면 챗봇은 "인간"에게 더 많은 정보를 제공하도록 요청합니다.

챗봇에는 개인 웹 사이트의 봇 탐지를 우회하도록 설계된 Ninjasearch라는 사용자 정의 도구도 포함되어 있습니다. 이 도구는 지정된 URL을 긁어 내고 페이지 내용의 요약을 반환합니다.

이 도구는 다음 단계에서 URL의 응답을 요약합니다.

1. RecursiveCharacterTextSplitter 사용하여 HTML을 청크로 나눕니다
2. 청크의 벡터 표현을 만들어 DB로 저장합니다 (이 예에서 FAISS를 사용했습니다).
3. LLM 및 DB에서 리트리버 ( RetrievalQA )를 작성하여 페이지 내용에서 질문을 할 수 있도록하십시오.

메모

• LinkedIn URL (예 : https://www.linkedin.com/in/hirokihori)에서 성공적으로 테스트했지만 몇 번의 시도 후 거부 당하기 시작했습니다. 이 글을 쓰는 시점에는 여전히 작동하지 않습니다 (4/15/2023). 프록시를 회전했지만 여전히 링크드 인이 자동으로 Zenrows를 통해 요청을 차단하기 시작했습니다 (?)는 확실하지 않습니다.
• LLM이 답변에 대해 확실하지 않은지 묻습니다. 인간의 루프를 가진 자율 요원은 매우 강력하며 그 길이라고 생각합니다.

기여

이 프로젝트에 기여하려면 Github에 풀 요청을 제출하십시오.