NinjaSearchWithHumanGPT

Ninjasearchwithhumangpt?

(Ini adalah POC) agen dengan manusia di loop yang dapat mencari informasi untuk mendapatkan informasi sambil melewati deteksi bot untuk situs pribadi.

Memulai

Untuk memulai dengan repo, Anda perlu mengatur variabel lingkungan yang diperlukan. Secara khusus, Anda perlu membuat dan mengatur variabel lingkungan berikut:

• OpenAI_API_KEY: Kunci API Openai Anda
• Zenrows_api_proxy: proxy untuk melewati deteksi bot di situs web pribadi*

GPT-3.5 Openai digunakan secara default, tetapi Anda dapat menggunakan model lain dukungan Langchain.

* Zenrows: https://zenrows.com

Selain itu, Anda perlu memastikan dependensi diinstal:

python3 -m pip install requirements.txt

Penggunaan

Setelah Anda mengatur variabel lingkungan yang diperlukan dan menginstal paket Langchain, Anda dapat mulai menggunakan chatbot. Cukup jalankan file Main.py:

python3 main.py

Chatbot akan meminta Anda untuk mengikuti persyaratan tertentu untuk mencapai tujuan Anda. Jika tujuannya tidak jelas atau tidak disediakan, chatbot akan meminta Anda untuk meminta "manusia" (Anda) menggunakan alat "manusia", yang disertakan secara default. Jika tujuannya masih belum jelas atau tidak cukup detail, chatbot akan meminta Anda untuk meminta "manusia" untuk memberikan lebih banyak informasi.

Chatbot juga menyertakan alat kustom bernama Ninjasearch yang dirancang untuk memotong deteksi bot untuk situs web pribadi. Alat ini akan mengikis URL yang ditentukan dan mengembalikan ringkasan konten halaman.

Alat ini merangkum respons dari URL dalam langkah -langkah berikut:

1. Pisahkan HTML menjadi potongan menggunakan RecursiveCharacterTextSplitter
2. Buat representasi vektor potongan dan simpan ke dalam db (kami menggunakan FAISS dalam contoh ini)
3. Buat retriever ( RetrievalQA ) dari LLM dan DB sehingga kami dapat mengajukan pertanyaan dari konten halaman.

Catatan

• Saya telah berhasil menguji dengan URL LinkedIn (misalnya, https://www.linkedin.com/in/hirokihori), tetapi setelah beberapa upaya, saya mulai ditolak. Ini masih belum berfungsi pada saat penulisan ini (4/15/2023). Saya memutar proxy saya, tetapi masih menghalangi saya sehingga LinkedIn secara otomatis mulai memblokir permintaan melalui Zenrows (?) Tidak begitu yakin.
• Saya suka fakta bahwa LLM bertanya kepada saya apakah mereka tidak yakin tentang jawabannya. Agen otonom dengan manusia-in-loop cukup kuat dan saya percaya itulah cara untuk pergi.

Berkontribusi

Jika Anda ingin berkontribusi pada proyek ini, silakan kirim permintaan tarik di GitHub.