หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

NinjasearchWithHumangpt?

(นี่คือ POC) ตัวแทนที่มีมนุษย์ในลูปที่สามารถค้นหาเว็บสำหรับข้อมูลในขณะที่ข้ามการตรวจจับบอทสำหรับไซต์ส่วนตัว

เริ่มต้น

ในการเริ่มต้นกับ repo คุณจะต้องตั้งค่าตัวแปรสภาพแวดล้อมที่จำเป็น โดยเฉพาะอย่างยิ่งคุณจะต้องสร้างและตั้งค่าตัวแปรสภาพแวดล้อมต่อไปนี้:

  • openai_api_key: คีย์ openai api ของคุณ
  • ZENROWS_API_PROXY: พร็อกซีสำหรับการผ่านการตรวจจับบอทบนเว็บไซต์ส่วนตัว*

GPT-3.5 ของ OpenAI ใช้โดยค่าเริ่มต้น แต่คุณสามารถใช้การสนับสนุนรุ่นอื่น ๆ Langchain

* Zenrows: https://zenrows.com

นอกจากนี้คุณจะต้องตรวจสอบให้แน่ใจว่ามีการติดตั้งการพึ่งพา:

python3 -m pip install requirements.txt

การใช้งาน

เมื่อคุณตั้งค่าตัวแปรสภาพแวดล้อมที่จำเป็นและติดตั้งแพ็คเกจ Langchain แล้วคุณสามารถเริ่มใช้ chatbot ได้ เพียงเรียกใช้ไฟล์ main.py:

python3 main.py

chatbot จะแจ้งให้คุณปฏิบัติตามข้อกำหนดบางประการเพื่อให้บรรลุเป้าหมาย หากเป้าหมายไม่ชัดเจนหรือไม่ได้ให้ chatbot จะแจ้งให้คุณถาม "มนุษย์" (คุณ) โดยใช้เครื่องมือ "มนุษย์" ซึ่งรวมอยู่ในค่าเริ่มต้น หากเป้าหมายยังไม่ชัดเจนหรือไม่มีรายละเอียดเพียงพอ chatbot จะแจ้งให้คุณขอให้ "มนุษย์" ให้ข้อมูลเพิ่มเติม

chatbot ยังมีเครื่องมือที่กำหนดเองที่เรียกว่า Ninjasearch ซึ่งออกแบบมาเพื่อข้ามการตรวจจับบอทสำหรับเว็บไซต์ส่วนตัว เครื่องมือจะขูด URL ที่ระบุและส่งคืนสรุปเนื้อหาของหน้า

เครื่องมือสรุปการตอบสนองจาก URL ในขั้นตอนต่อไปนี้:

  1. แบ่ง HTML เป็นชิ้นโดยใช้ RecursiveCharacterTextSplitter
  2. สร้างการแสดงเวกเตอร์ของชิ้นส่วนและบันทึกลงใน DB (เราใช้ FAISS ในตัวอย่างนี้)
  3. สร้าง Retriever ( RetrievalQA ) จาก LLM และ DB เพื่อให้เราสามารถถามคำถามจากเนื้อหาของหน้า

บันทึก

  • ฉันได้ทดสอบอย่างประสบความสำเร็จกับ LinkedIn URL (เช่น https://www.linkedin.com/in/hirokihori) แต่หลังจากพยายามสองสามครั้งฉันก็เริ่มถูกปฏิเสธ มันยังไม่ทำงานในขณะที่เขียนสิ่งนี้ (4/15/2023) ฉันหมุนพร็อกซีของฉัน แต่มันก็ยังบล็อกฉันดังนั้น LinkedIn จึงเริ่มบล็อกคำขอผ่าน Zenrows (?) โดยอัตโนมัติไม่แน่ใจ
  • ฉันชอบความจริงที่ว่า LLM ถามฉันว่าพวกเขาไม่แน่ใจเกี่ยวกับคำตอบหรือไม่ ตัวแทนอิสระที่มีมนุษย์ในลูปมีพลังค่อนข้างมากและฉันเชื่อว่านั่นเป็นหนทางที่จะไป

การบริจาค

หากคุณต้องการมีส่วนร่วมในโครงการนี้โปรดส่งคำขอดึงไปที่ GitHub

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด