LLM MEM

LLM-MEM？

具有語義記憶存儲的增強語言模型

一種基於Python的實現，該實現使用向量嵌入和相似性搜索來增強具有持久語義內存的語言模型。

？特徵

• 使用NLTK的對話的語義分解
• 使用句子變壓器生成矢量嵌入
• 基於餘弦相似性的上下文檢索
• 使用矢量數據庫的持續存儲器存儲
• 自動上下文注射以進行更連貫的響應
• 智能文本塊帶代碼塊保存

技術堆棧

• sentence-transformers ：用於生成語義嵌入
• nltk ：文本操縱的自然語言處理工具包
• 自定義LLM集成
• 用於存儲和檢索嵌入的矢量店
• 向量操作的REST API端點

？先決條件

• 句子轉化器
• NLTK
• 請求
• Google-generativeai

快速開始

1. 克隆存儲庫：

git clone https://github.com/Abhigyan126/LLM-MEM.git
cd LLM-MEM

2. 安裝依賴項：

pip install sentence-transformers nltk requests google-generativeai

3. 創建.env文件

   key = your_llm_key

4. 運行主腳本：

python main.py

它如何工作

1. 文本處理：處理和清潔傳入消息
2. 嵌入生成：將文本轉換為矢量嵌入
3. 語義搜索：使用餘弦相似性找到相關的上下文
4. 上下文集成：將相關歷史記錄與當前查詢合併
5. 響應生成：使用LLM具有增強上下文的LLM生成響應
6. 內存存儲：存儲新的交互供將來參考

？配置

該系統使用幾個可配置的參數：

• 最大塊長度：2000個字符
• 最小塊大小：100個字符
• 相似性閾值：0.5
• 默認最近的鄰居：10