Local LLM Langchain

สมุดบันทึกสำหรับ LLMS ในท้องถิ่น

เป้าหมายของโครงการนี้คือการอนุญาตให้ผู้ใช้โหลดโมเดลภาษาที่โฮสต์ในพื้นที่ได้อย่างง่ายดายในสมุดบันทึกสำหรับการทดสอบกับ Langchain ขณะนี้มีโน้ตบุ๊กสามตัว พวกเขาสองคนใช้ API เพื่อสร้าง wrapper LANGCHAIN ​​LANGCHAIN ​​ที่กำหนดเอง - หนึ่งสำหรับการสร้างข้อความของ Oobabooga Web UI และอื่น ๆ สำหรับ Koboldai โน้ตบุ๊กเล่มที่สามโหลดโมเดลโดยไม่ต้องใช้ API โดยใช้ประโยชน์จากสภาพแวดล้อมเสมือนจริงของ Oobabooga Generation-Webui และโมดูลสำหรับการโหลดแบบจำลอง

คุณจะจบลงด้วยอินสแตนซ์ของ wrapper LLM ที่กำหนดเองที่สามารถใช้ในการสร้างข้อความ:

llm("prompt goes here")

คุณสามารถใช้สิ่งนี้แทนคลาส OpenAI LLM ที่คุณเห็นใช้ในคู่มือและเอกสารส่วนใหญ่

เริ่มต้น

โปรดทำตามคำแนะนำการตั้งค่าสำหรับ APIs ที่ให้ไว้ในที่เก็บตามลำดับ เพียงอัปเดตตัวแปร URL ด้วย URL API ของคุณจากนั้นเรียกใช้เซลล์เพื่อสร้างอินสแตนซ์ของ wrapper LLM ที่กำหนดเอง

แผนงาน

การใช้ API เป็นวิธีที่ฉันต้องการสำหรับการโหลดโมเดล ฉันวางแผนที่จะปรับปรุงชั้นเรียน/สมุดบันทึก API แต่ตอนนี้พวกเขาทำงานได้ค่อนข้างดี ตอนนี้ฉันจะออกจากสิ่งที่ไม่ใช่ API แต่ฉันจะไม่ดูแลพวกเขาอย่างแข็งขันในอนาคตดังนั้นสิ่งต่าง ๆ อาจแตก

คำแนะนำโน๊ตบุ๊คที่ไม่ใช่ API:

1. เปิดใช้งานสภาพแวดล้อม Python หรือ Conda ของคุณ
2. ติดตั้งสมุดบันทึก Jupyter โดยเรียกใช้ pip install jupyter ในพรอมต์คำสั่งหรือเทอร์มินัลคำสั่งที่คุณต้องการ
3. รีสตาร์ทพรอมต์คำสั่งหรือเทอร์มินัลเพื่อให้แน่ใจว่าการติดตั้งได้รับการกำหนดค่าอย่างเหมาะสม
4. เปิดใช้งานสภาพแวดล้อม Python หรือ Conda ของคุณอีกครั้งและเรียกใช้ jupyter notebook ในพรอมต์คำสั่งหรือเทอร์มินัลเพื่อเรียกใช้อินเตอร์เฟส Jupyter
5. นำทางไปยังไดเรกทอรีที่อยู่ที่ Non-API-Notebook.ipynb ตั้งอยู่ (ผู้ใช้ OOBA ใส่ไว้ใน ./text-generation-webui/ text-generation-webui/ และเปิดโน๊ตบุ๊คในอินเทอร์เฟซ Jupyter