LLM MEM

LLM-MEM?

Model bahasa yang ditingkatkan dengan penyimpanan memori semantik

Implementasi berbasis Python yang menambah model bahasa dengan memori semantik yang persisten menggunakan embeddings vektor dan pencarian kesamaan.

? Fitur

• Chunking percakapan semantik menggunakan NLTK
• Vektor Emector Embeddings Generation Menggunakan Transformator Kalimat
• Pengambilan konteks berbasis cosinus
• Penyimpanan Memori Persisten Menggunakan Database Vektor
• Injeksi konteks otomatis untuk tanggapan yang lebih koheren
• Teks pintar chunking dengan pelestarian blok kode

Tumpukan Teknis

• sentence-transformers : untuk menghasilkan semantik semantik
• nltk : Toolkit Pemrosesan Bahasa Alami untuk Manipulasi Teks
• Integrasi LLM Kustom
• Toko vektor untuk menyimpan dan mengambil embeddings
• Istirahat titik akhir API untuk operasi vektor

? Prasyarat

• Transformer kalimat
• nltk
• permintaan
• Google-Generativeai

Awal yang cepat

1. Klon Repositori:

git clone https://github.com/Abhigyan126/LLM-MEM.git
cd LLM-MEM

2. Instal dependensi:

pip install sentence-transformers nltk requests google-generativeai

3. Buat file .env

   key = your_llm_key

4. Jalankan skrip utama:

python main.py

Cara kerjanya

1. Pemrosesan Teks : Pesan yang masuk diproses dan dibersihkan
2. Generasi Embedding : Mengubah teks menjadi embeddings vektor
3. Pencarian Semantic : Menemukan Konteks Sebelumnya yang Relevan Menggunakan Kesamaan Cosinus
4. Integrasi konteks : menggabungkan sejarah yang relevan dengan kueri saat ini
5. Generasi Tanggapan : Menghasilkan Respons Menggunakan LLM dengan Konteks yang Ditingkatkan
6. Penyimpanan Memori : Menyimpan interaksi baru untuk referensi di masa mendatang

? Konfigurasi

Sistem menggunakan beberapa parameter yang dapat dikonfigurasi:

• Panjang chunk maksimum: 2000 karakter
• Ukuran chunk minimum: 100 karakter
• Ambang Kesamaan: 0,5
• Default tetangga terdekat: 10