LLM MEM

llm-mem?

โมเดลภาษาที่ได้รับการปรับปรุงพร้อมที่เก็บหน่วยความจำความหมาย

การใช้งานที่ใช้ Python ที่เพิ่มโมเดลภาษาด้วยหน่วยความจำความหมายแบบถาวรโดยใช้การฝังเวกเตอร์และการค้นหาความคล้ายคลึงกัน

- คุณสมบัติ

• การสนทนาแบบความหมายโดยใช้ NLTK
• Vector Embeddings Generation โดยใช้หม้อแปลงประโยค
• การดึงบริบทตามความคล้ายคลึงกันของโคไซน์
• ที่เก็บหน่วยความจำแบบถาวรโดยใช้ฐานข้อมูลเวกเตอร์
• การฉีดบริบทอัตโนมัติสำหรับการตอบสนองที่สอดคล้องกันมากขึ้น
• การถ่ายทอดข้อความอัจฉริยะด้วยการอนุรักษ์บล็อกรหัส

สแต็คทางเทคนิค

• sentence-transformers : สำหรับการสร้างความหมายฝังศพ
• nltk : ชุดเครื่องมือประมวลผลภาษาธรรมชาติสำหรับการจัดการข้อความ
• การรวม LLM ที่กำหนดเอง
• ร้านค้าเวกเตอร์สำหรับการจัดเก็บและเรียกคืนการฝังตัว
• จุดสิ้นสุดของ REST API สำหรับการดำเนินการเวกเตอร์

- ข้อกำหนดเบื้องต้น

• ผู้เปลี่ยนประโยค
• nltk
• การร้องขอ
• Google-Generativeai

เริ่มต้นอย่างรวดเร็ว

1. โคลนที่เก็บ:

git clone https://github.com/Abhigyan126/LLM-MEM.git
cd LLM-MEM

2. ติดตั้งการพึ่งพา:

pip install sentence-transformers nltk requests google-generativeai

3. สร้างไฟล์. env

   key = your_llm_key

4. เรียกใช้สคริปต์หลัก:

python main.py

มันทำงานอย่างไร

1. การประมวลผลข้อความ : ข้อความขาเข้าได้รับการประมวลผลและทำความสะอาด
2. Embedding Generation : แปลงข้อความเป็น Embeddings เวกเตอร์
3. การค้นหาความหมาย : ค้นหาบริบทก่อนหน้านี้ที่เกี่ยวข้องโดยใช้ความคล้ายคลึงกันของโคไซน์
4. การรวมบริบท : ผสานประวัติที่เกี่ยวข้องกับแบบสอบถามปัจจุบัน
5. การสร้างการตอบสนอง : สร้างการตอบสนองโดยใช้ LLM ด้วยบริบทที่ปรับปรุงแล้ว
6. หน่วยความจำที่เก็บข้อมูล : จัดเก็บการโต้ตอบใหม่สำหรับการอ้างอิงในอนาคต

- การกำหนดค่า

ระบบใช้พารามิเตอร์ที่กำหนดค่าได้หลายตัว:

• ความยาวก้อนสูงสุด: 2,000 อักขระ
• ขนาดก้อนขั้นต่ำ: 100 อักขระ
• เกณฑ์ความคล้ายคลึงกัน: 0.5
• เพื่อนบ้านที่ใกล้ที่สุดเริ่มต้น: 10