VectorDB Plugin for LM Studio

ฐานข้อมูลเวกเตอร์ Supercharged!

ข้อกำหนด•การติดตั้ง•การใช้โปรแกรม•ขอคุณสมบัติหรือรายงานข้อบกพร่อง•ติดต่อ

ที่เก็บนี้ช่วยให้คุณสร้างและค้นหาฐานข้อมูลเวกเตอร์สำหรับบริบทที่เกี่ยวข้องในเอกสารที่หลากหลายและจากนั้นได้รับการตอบกลับจากรูปแบบภาษาขนาดใหญ่ที่แม่นยำยิ่งขึ้น นี่มักเรียกกันว่า คุณสามารถดูวิดีโอเบื้องต้นหรืออ่านบทความกลางเกี่ยวกับโปรแกรม

อย่างเหลือบ

คุณสมบัติ	รายละเอียด
การสกัดข้อความทั่วไป	.pdf .docx .epub .txt .html .enex .eml .msg .csv .xls .xlsx .rtf .odt
แบบจำลอง "Vision" เพื่อสร้างภาพสรุปภาพ	.png .jpg .jpeg .bmp .gif .tif .tiff
ถอดความไฟล์เสียงเป็นข้อความ	.mp3 .wav .m4a .ogg .wma .flac และอีกมากมาย ...
พิมพ์หรือพูดคำถามของคุณ	การใช้เครื่องบันทึกเสียง WhisperS2T ที่ทรงพลัง
รับคำตอบจาก LLM	LM Studio Local Models Chat GPT (เร็ว ๆ นี้)
Text to Speech Playback ของการตอบสนองของ LLM	Bark WhisperSpeech ChatTTS Google TTS
การสนับสนุน CPU และ Nvidia GPU	กำลังมองหาผู้ทดสอบหรือผู้มีส่วนร่วมสำหรับ AMD และ Intel GPU รวมถึง Metal/MPS/MLX

ความต้องการ

- Python 3.11 •? git •? Git LFS • Pandoc •คอมไพเลอร์

ลิงค์ด้านบนดาวน์โหลด Visual Studio เป็นตัวอย่าง อย่างไรก็ตามตรวจสอบให้แน่ใจว่าได้ติดตั้ง SDK ที่ต้องการ

ตัวอย่างข้อผิดพลาดเมื่อไม่มีการติดตั้งคอมไพเลอร์:

ตัวอย่างการติดตั้ง SDK ที่ถูกต้อง:

กลับไปด้านบน

การติดตั้ง

ขั้นตอนที่ 1

ดาวน์โหลด "Release" ล่าสุดแยกเนื้อหาและเปิดโฟลเดอร์ "SRC":

• หมายเหตุ: หากคุณโคลนพื้นที่เก็บข้อมูลนี้คุณจะได้รับเวอร์ชันการพัฒนาซึ่งอาจหรือไม่มั่นคง

ความพยายามครั้งสุดท้ายในการสนับสนุน? Linux และ? MacOS คือการเปิดตัว v3.5.2 ตรวจสอบให้แน่ใจและทำตามคำแนะนำ readme.md ที่นั่น

ขั้นตอนที่ 2

ภายในโฟลเดอร์ src สร้างสภาพแวดล้อมเสมือนจริง:

 python -m venv .

ขั้นตอนที่ 3

เปิดใช้งานสภาพแวดล้อมเสมือนจริง:

 .Scriptsactivate

ขั้นตอนที่ 4

เรียกใช้สคริปต์การตั้งค่า:

สำหรับ Windows เท่านั้นตอนนี้

 python setup_windows.py

ขั้นตอนที่ 5 - สำคัญ

เพื่อที่จะใช้ฟังก์ชันการถาม Jeeves คุณต้อง:

1. เข้าไปในโฟลเดอร์ Assets
2. คลิกขวาที่ koboldcpp_nocuda.exe ;
3. ตรวจสอบช่องทำเครื่องหมาย "Unblock"
4. คลิกตกลง

หากช่องทำเครื่องหมาย "Unblock" ไม่สามารถมองเห็นได้ไม่ว่าด้วยเหตุผลใดก็ตามตัวเลือกอื่นคือ Doubleclick koboldcpp_nocuda.exe เลือกไฟล์ .gguf ภายในไดเรกทอรี Assets และเริ่มโปรแกรม สิ่งนี้ควร (อย่างน้อยบน Windows) พยายามเริ่มโปรแกรม Kobold ซึ่งจะกระตุ้นตัวเลือกให้ "อนุญาต" และ/หรือสร้างข้อยกเว้นให้กับ "Windows Defender" บนคอมพิวเตอร์ของคุณ เลือก "อนุญาต" หรือข้อความอื่น ๆ ที่คุณได้รับซึ่งจะเปิดใช้งานสำหรับการโต้ตอบในอนาคตทั้งหมด โปรดทราบว่าคุณควรทำสิ่งนี้ก่อนที่จะพยายามเรียกใช้ฟังก์ชั่น Ask Jeeves ในโปรแกรมนี้ มิฉะนั้นอาจไม่ได้ผล

ส่ง Issue GitHub หากคุณพบปัญหาใด ๆ เนื่องจาก Ask Jeeves เป็นคุณสมบัติที่ค่อนข้างใหม่

กลับไปด้านบน

การใช้งาน

สิ่งสำคัญสำหรับคำแนะนำโดยละเอียดเพิ่มเติมเพียงแค่ถาม Jeeves!

เปิดใช้งานสภาพแวดล้อมเสมือนจริงและเริ่มโปรแกรม

ทุกครั้งที่คุณต้องการใช้โปรแกรมคุณต้องเปิดใช้งานสภาพแวดล้อมเสมือนจริง:

 .Scriptsactivate

 python gui.py

ดาวน์โหลดรุ่นเวกเตอร์

• เลือกและดาวน์โหลดโมเดลเวกเตอร์/การฝังจาก Models Tab

สร้างฐานข้อมูลเวกเตอร์

โปรแกรมนี้แยกข้อความจากประเภทไฟล์ที่หลากหลายและใส่ลงในฐานข้อมูลเวกเตอร์ นอกจากนี้ยังช่วยให้คุณสร้างภาพสรุปของรูปภาพและการถอดความของไฟล์เสียงที่จะใส่ลงในฐานข้อมูล

ป้อนประเภทไฟล์ทั่วไป

ในแท็บ Create Database ให้เลือกไฟล์ที่คุณต้องการเพิ่มลงในฐานข้อมูล คุณสามารถคลิกปุ่ม Choose Files ได้หลายครั้งตามที่คุณต้องการ

เข้าสู่ภาพ

โปรแกรมนี้ใช้โมเดล "วิสัยทัศน์" เพื่อสร้างภาพสรุปของรูปภาพซึ่งสามารถป้อนลงในฐานข้อมูลและค้นหาได้ ก่อนที่จะป้อนภาพฉันขอแนะนำให้คุณทดสอบโมเดลวิสัยทัศน์ต่าง ๆ สำหรับรุ่นที่คุณชอบมากที่สุด

เพื่อทดสอบแบบจำลองการมองเห็น:

1. จากแท็บ Create Database เลือกหนึ่งภาพขึ้นไป
2. จากแท็บ Settings ให้เลือกแบบจำลองการมองเห็นที่คุณต้องการทดสอบ
3. จากแท็บ Tools ประมวลผลภาพ

หลังจากพิจารณาว่าคุณชอบโมเดลวิสัยทัศน์ใดแล้วให้เพิ่มรูปภาพลงในฐานข้อมูลโดยเลือกจากแท็บ Create Database เช่นไฟล์อื่น ๆ เมื่อคุณสร้างฐานข้อมูลในที่สุดพวกเขาจะได้รับการประมวลผลโดยอัตโนมัติ

ป้อนไฟล์เสียง

ไฟล์เสียงสามารถถอดความและใส่ลงในฐานข้อมูลที่จะค้นหา ก่อนที่จะคัดลอกไฟล์เสียงที่ยาวฉันขอแนะนำให้ทดสอบโมเดล Whisper ต่างๆในไฟล์เสียงที่สั้นกว่ารวมถึงการทดลองกับการตั้งค่า batch ที่แตกต่างกัน เป้าหมายของคุณควรใช้โมเดล Whisper ขนาดใหญ่ตามที่ GPU ของคุณรองรับจากนั้นปรับขนาดแบทช์เพื่อให้การใช้ VRAM ภายใน VRAM ที่มีอยู่ของคุณ

เพื่อทดสอบการตั้งค่าที่ดีที่สุด:

1. ภายในแท็บ Tools เลือกไฟล์เสียงสั้น ๆ
2. เลือกรุ่น Whisper
3. ประมวลผลไฟล์เสียง
4. ภายในแท็บ Create Database DoubleClick การถอดความที่เพิ่งสร้างขึ้น
5. อ่านฟิลด์ page content เพื่อรับรู้ว่าการถอดความนั้นแม่นยำเพียงพอสำหรับกรณีการใช้งานของคุณหรือหากคุณต้องการเลือกโมเดล Whisper ที่แม่นยำยิ่งขึ้น

เมื่อคุณได้รับการตั้งค่าที่ดีที่สุดสำหรับระบบของคุณก็ถึงเวลาที่จะถอดความไฟล์เสียงลงในฐานข้อมูล:

1. ภายในแท็บ Create Database ลบการถอดรหัสใด ๆ ที่คุณไม่ต้องการป้อนลงในฐานข้อมูล
2. สร้างการถอดความใหม่ที่คุณต้องการป้อน (ทำซ้ำสำหรับหลายไฟล์)

   การประมวลผลแบบแบตช์ยังไม่สามารถใช้ได้

การสร้างฐานข้อมูลจริง

• ดาวน์โหลดโมเดลเวกเตอร์จากแท็บ Models
• ภายในแท็บ Create Database ให้สร้างฐานข้อมูล

จัดการฐานข้อมูล

• แท็บ Manage Database ช่วยให้คุณสามารถดูเนื้อหาของฐานข้อมูลทั้งหมดที่คุณสร้างและลบหากคุณต้องการ

สอบถามฐานข้อมูล (ไม่มีสตูดิโอ LM)

• ในแท็บ Query Database เลือกฐานข้อมูลที่คุณต้องการใช้จากเมนู Pulldown
• ป้อนคำถามของคุณโดยพิมพ์หรือใช้ปุ่ม Record Question
• ตรวจสอบช่องทำเครื่องหมาย chunks only เพื่อรับบริบทที่เกี่ยวข้องเท่านั้น
• คลิก Submit Question
  • ในแท็บ Settings คุณสามารถเปลี่ยนการตั้งค่าหลายรายการเกี่ยวกับการสืบค้นฐานข้อมูล ข้อมูลเพิ่มเติมสามารถพบได้ในคู่มือผู้ใช้

สอบถามฐานข้อมูลที่มีการตอบกลับจาก LM Studio

โปรแกรมนี้ได้รับชิ้นส่วนที่เกี่ยวข้องจากฐานข้อมูล Vector และส่งต่อพวกเขา - พร้อมกับคำถามของคุณ - ไปยัง LM Studio สำหรับคำตอบ!

• ทำตามขั้นตอนข้างต้นเกี่ยวกับการป้อนคำถามและเลือกการตั้งค่า แต่ตรวจสอบให้แน่ใจว่าไม่ถูกตรวจสอบ Chunks Only
• เริ่ม LM Studio และไปที่แท็บเซิร์ฟเวอร์ทางด้านซ้าย
• โหลดโมเดล
• เปิด Apply Prompt Formatting เป็น "ปิด"
• ทางด้านขวาภายใน Prompt Format ให้แน่ใจว่าการตั้งค่าต่อไปนี้ทั้งหมดว่างเปล่า:
  • System Message Prefix
  • System Message Suffix
  • User Message Prefix
  • User Message Suffix
• ที่ด้านบนให้โหลดโมเดลภายใน LM Studio
• ทางด้านขวาให้ปรับการตั้งค่า GPU Offload ตามความชอบของคุณ
• ภายในโปรแกรมของฉันไปที่แท็บ Settings เลือกรูปแบบพรอมต์ที่เหมาะสมสำหรับรุ่นที่โหลดใน LM Studio คลิก Update Settings
• ใน LM Studio คลิก Start Server.
• ในแท็บ Query Database คลิก Submit Question

กลับไปด้านบน

ขอคุณสมบัติหรือรายงานข้อบกพร่อง

อย่าลังเลที่จะรายงานข้อบกพร่องหรือขอการปรับปรุงโดยการสร้างปัญหาเกี่ยวกับ GitHub หรือติดต่อฉันบนเซิร์ฟเวอร์ LM Studio Discord (ดูลิงค์ด้านล่าง)!

ติดต่อ

ยินดีต้อนรับคำแนะนำทั้งหมด (บวกและลบ) "[email protected]" หรืออย่าลังเลที่จะส่งข้อความถึงฉันบนเซิร์ฟเวอร์ LM Studio Discord