LLM MEM

LLM-MEM？

具有语义记忆存储的增强语言模型

一种基于Python的实现，该实现使用向量嵌入和相似性搜索来增强具有持久语义内存的语言模型。

？特征

• 使用NLTK的对话的语义分解
• 使用句子变压器生成矢量嵌入
• 基于余弦相似性的上下文检索
• 使用矢量数据库的持续存储器存储
• 自动上下文注射以进行更连贯的响应
• 智能文本块带代码块保存

技术堆栈

• sentence-transformers ：用于生成语义嵌入
• nltk ：文本操纵的自然语言处理工具包
• 自定义LLM集成
• 用于存储和检索嵌入的矢量店
• 矢量操作的REST API端点

？先决条件

• 句子转化器
• NLTK
• 请求
• Google-generativeai

快速开始

1. 克隆存储库：

git clone https://github.com/Abhigyan126/LLM-MEM.git
cd LLM-MEM

2. 安装依赖项：

pip install sentence-transformers nltk requests google-generativeai

3. 创建.env文件

   key = your_llm_key

4. 运行主脚本：

python main.py

它如何工作

1. 文本处理：处理和清洁传入消息
2. 嵌入生成：将文本转换为矢量嵌入
3. 语义搜索：使用余弦相似性找到相关的上下文
4. 上下文集成：将相关历史记录与当前查询合并
5. 响应生成：使用LLM具有增强上下文的LLM生成响应
6. 内存存储：存储新的交互供将来参考

？配置

该系统使用几个可配置的参数：

• 最大块长度：2000个字符
• 最小块大小：100个字符
• 相似性阈值：0.5
• 默认最近的邻居：10