VectorDB Plugin for KoboldAI

ฐานข้อมูลเวกเตอร์ koboldcpp

• เนื่องจากข้อ จำกัด ด้านเวลาและความสามารถในการทดสอบรองรับเฉพาะในระบบ Windows ด้วย Nvidia GPU

ความต้องการ

1. ? Python 3.11 (Pytorch ไม่สามารถใช้งานได้กับ Python 3.12)

2. ? git

3. ? git ที่เก็บไฟล์ขนาดใหญ่

4. Pandoc

5. CUDA เป็นเทคนิค "จำเป็น" แต่สคริปต์การติดตั้งจะติดตั้งโดยอัตโนมัติ คุณไม่จำเป็นต้องติดตั้งระบบทั่วทั้งระบบ

6. สร้างเครื่องมือ

   การพึ่งพาบางอย่างไม่มี "ล้อ" ที่รวบรวมไว้ล่วงหน้าดังนั้นคุณต้องสร้างมันด้วยเครื่องมือสร้าง Microsoft และ/หรือ Visual Studio ฉันขอแนะนำ Visual Studio แต่ตรวจสอบให้แน่ใจว่าได้เลือกส่วนขยาย "เดสก์ท็อปด้วย C ++" และตรวจสอบสี่กล่องทางด้านขวาที่มี "SDK"

   ตัวอย่างข้อผิดพลาดบน Windows

   
   ตัวอย่างโซลูชันบน Windows

   

การติดตั้ง

ขั้นตอนที่ 1

ดาวน์โหลด "รีลีส" ล่าสุดแยกเนื้อหานำทางไปยังโฟลเดอร์ "SRC" เพื่อเรียกใช้คำสั่งด้านล่าง

• หมายเหตุ: หากคุณโคลนพื้นที่เก็บข้อมูลนี้คุณจะไม่ได้รับรุ่นล่าสุด แต่คุณจะพัฒนาเวอร์ชันของโปรแกรมนี้ซึ่งอาจหรือไม่มั่นคง

ขั้นตอนที่ 2

นำทางไปยังโฟลเดอร์ src เปิดพรอมต์คำสั่งและสร้างสภาพแวดล้อมเสมือนจริง:

 python -m venv .

ขั้นตอนที่ 3

เปิดใช้งานสภาพแวดล้อมเสมือนจริง:

 .Scriptsactivate

ขั้นตอนที่ 4

เรียกใช้การตั้งค่า:

 python setup_windows.py

หากคุณต้องการลองติดตั้งใหม่ด้วยเหตุผลใดก็ตามที่เรียกใช้คำสั่งนี้เพื่อถอนการติดตั้งทุกอย่างและลองอีกครั้ง: pip freeze > requirements_uninstall.txt && pip uninstall -r requirements_uninstall.txt -y && del requirements_uninstall.txt

ขั้นตอนที่ 5

 python gui.py

การใช้งาน

เริ่ม kobold

• นำทางไปยัง GitHub ของ KoboldCpp และดาวน์โหลดไฟล์. exe ที่เหมาะสมหรือเรียกใช้ python download_kobold.py จากสภาพแวดล้อมเสมือนจริงของคุณแทน
• เลือกตัวเลือกใด ๆ/ทั้งหมดที่คุณต้องการและเริ่มโปรแกรม แต่ตรวจสอบให้แน่ใจและยกเลิกการเลือกตัวเลือกเปิดเบราว์เซอร์ นอกจากนี้คุณยังสามารถตรวจสอบโหมด "เงียบ" ซึ่งป้องกันไม่ให้หน้าต่างพรอมต์คำสั่งของ Kobold จากการพิมพ์ทุกอย่างซ้ำกัน