หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

Ner-and-hybrid-search-ai-chatbot

ตัวอย่างของการจดจำเอนทิตีชื่อและการแมปความสัมพันธ์โดยใช้ฐานข้อมูล LLM และเวกเตอร์ chatbot การค้นหาแบบไฮบริดเพื่อใช้ความสัมพันธ์ที่แยกออกมา

การค้นหาแบบไฮบริดจะค้นหาทั้งเอนทิตีแหล่งที่มาและเอนทิตีเป้าหมายทำให้เกิดความสามารถในการค้นหาที่ดีกว่าผ้าขี้ริ้วแบบดั้งเดิม วิธีการนี้อนุญาตให้มีความทรงจำที่เกี่ยวข้องซึ่งอาจไม่มีความหมายทางความหมายโดยนัยเดียวกันที่จะส่งคืน วิธีการที่ใช้ในที่นี้เป็นเวอร์ชันที่เรียบง่าย แต่สามารถใช้วิธีการซ้อนกันอย่างต่อเนื่องโดยใช้ค่าใช้จ่ายตามความยาวบริบทเพิ่มเติม

เดิมทีทำขึ้นเพื่อเป็นทางออกสำหรับโครงการ Aetherius AI AISTANT ของฉัน แต่ฉันไม่สามารถทำงานได้อย่างน่าเชื่อถือด้วย LLM ที่เล็กลง

โครงการผู้ช่วย AI หลัก: https://github.com/libraryofcelsus/aetherius_ai_assistant

ฐานข้อมูลเวกเตอร์: https://github.com/qdrant/qdrant

การเปลี่ยนแปลง

  • 2/19 เปลี่ยนการอ่าน PDF เพื่อใช้ tesseract

  • 2/18 เพิ่มเอาต์พุต CSV

การติดตั้ง

  1. ติดตั้ง Python 3.10.6 ตรวจสอบให้แน่ใจว่าคุณเพิ่มลงในเส้นทาง: https://www.python.org/downloads/release/python-3106/
  2. ติดตั้ง Git: https://git-scm.com/ (Git สามารถข้ามได้โดยการดาวน์โหลด repo เป็นไฟล์ zip ภายใต้ปุ่ม Green Code)
  3. ติดตั้ง tesseract สำหรับ OCR: https://github.com/ub-mannheim/tesseract/wiki เมื่อติดตั้งแล้วให้คัดลอกโฟลเดอร์ "tesseract-ocr" จากไฟล์โปรแกรมไปยังโฟลเดอร์โครงการหลัก ทางเลือกคุณยังสามารถติดตั้งโดยตรงไปยังโฟลเดอร์ชื่อ "Tesseract-COR" ในโฟลเดอร์โครงการเมื่อติดตั้งเริ่มต้น
  4. หากใช้คลาวด์ Qdrant คัดลอกคีย์ API และ URL ไปยังคีย์ที่เกี่ยวข้องในการตั้งค่า JSON Qdrant Cloud: https://qdrant.to/cloud
  5. หากต้องการใช้เซิร์ฟเวอร์ QDDRANT ในพื้นที่ให้ติดตั้ง Docker ก่อน: https://www.docker.com/
  6. ตอนนี้เรียกใช้: Docker Pull QDRANT/QDRANT: v1.5.1 ใน CMD
  7. รันถัดไป: Docker Run -p 6333: 6333 Qdrant/Qdrant: v1.5.1
  8. เมื่อเซิร์ฟเวอร์ QDDRANT ท้องถิ่นกำลังทำงานอยู่ควรตรวจพบอัตโนมัติโดย chatbot (ดู: https://docs.docker.com/desktop/backup-and-restore/ สำหรับวิธีการสำรองข้อมูล)
  9. เปิด CMD เป็นผู้ดูแลระบบ
  10. เรียกใช้ git clone: ​​git clone https://github.com/libraryofcelsus/ner-and-hybrid-search-ai-chatbot.git
  11. นำทางไปยังโฟลเดอร์โครงการ: cd path_to_chatbot_install
  12. สร้างสภาพแวดล้อมเสมือนจริง: Python -m venv venv
  13. เปิดใช้งานสภาพแวดล้อม:. venv scripts เปิดใช้งาน
  14. ติดตั้งแพ็คเกจที่ต้องการ: PIP Install -r rechent.txt
  15. แก้ไขการตั้งค่าใน "settings.json"
  16. เรียกใช้ "hybrid_search_example.py" เพื่อใช้ chatbot เรียกใช้ "extract_relation_from_file.py" เพื่อแยกความสัมพันธ์จากโฟลเดอร์อัปโหลด

เข้าร่วม Discord ของฉันเพื่อขอความช่วยเหลือหรือรับข้อมูลเชิงลึกเพิ่มเติม!

Discord Server: https://discord.gg/pb5zcna7ze

การพัฒนา AI ของฉันได้รับเงินสนับสนุนตนเองจากงานประจำวันของฉันพิจารณาบริจาคหากคุณพบว่ามันมีประโยชน์!

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด