LLM-MEM?
Um modelo de linguagem aprimorado com armazenamento semântico de memória
Uma implementação baseada em Python que aumenta os modelos de idiomas com memória semântica persistente usando incorporações de vetor e pesquisa de similaridade.
? Características
- Chunking semântico de conversas usando NLTK
- Geração de incorporação de vetor usando transformadores de frases
- Recuperação de contexto baseada em similaridade de cosseno
- Armazenamento de memória persistente usando o banco de dados vetorial
- Injeção automática de contexto para respostas mais coerentes
- Chunking de texto inteligente com preservação do bloco de código
Pilha técnica
-
sentence-transformers : para gerar incorporações semânticas -
nltk : Kit de ferramentas de processamento de linguagem natural para manipulação de texto - Integração personalizada LLM
- Vector Store para armazenar e recuperar incorporações
- Pontos de extremidade da API REST para operações vetoriais
? Pré -requisitos
- transformadores de frases
- nltk
- solicitações
- Google-Generativeai
Início rápido
- Clone o repositório:
git clone https://github.com/Abhigyan126/LLM-MEM.git
cd LLM-MEM
- Instale dependências:
pip install sentence-transformers nltk requests google-generativeai
- Crie arquivo .env
- Execute o script principal:
Como funciona
- Processamento de texto : as mensagens recebidas são processadas e limpas
- Incorporação de geração : converte o texto em incorporações de vetor
- Pesquisa semântica : encontra contextos anteriores relevantes usando similaridade de cosseno
- Integração de contexto : mescla história relevante com a consulta atual
- Geração de resposta : gera resposta usando LLM com contexto aprimorado
- Armazenamento de memória : armazena novas interações para referência futura
? Configuração
O sistema usa vários parâmetros configuráveis:
- Comprimento máximo de pedaços: 2000 caracteres
- Tamanho mínimo do pedaço: 100 caracteres
- Limiar de similaridade: 0,5
- Vizinhos mais próximos padrão: 10
