LLM MEM

LLM-MEM?

Улучшенная языковая модель с хранением семантической памяти

Реализация на основе Python, которая дополняет языковые модели с постоянной семантической памятью с использованием векторных внедрений и поиска сходства.

? Функции

• Семантический подъем разговоров с использованием nltk
• Генерация векторных внедрений с использованием трансформаторов предложений
• Косинус на основе сходства контекст
• Постоянное хранилище памяти с использованием векторной базы данных
• Автоматическая инъекция контекста для более когерентных ответов
• Smart Text Chunking с сохранением кодового блока

Технический стек

• sentence-transformers : для получения семантических встраиваний
• nltk : инструментарий для обработки естественного языка для манипуляции с текстами
• Пользовательская интеграция LLM
• Векторный магазин для хранения и получения внедрения
• REST API конечные точки для векторных операций

? Предварительные условия

• ПРЕДЛОЖЕНИЯ Трансформаторы
• nltk
• запросы
• Google-Generativeai

Быстрый старт

1. Клонировать репозиторий:

git clone https://github.com/Abhigyan126/LLM-MEM.git
cd LLM-MEM

2. Установить зависимости:

pip install sentence-transformers nltk requests google-generativeai

3. Создать .ENV -файл

   key = your_llm_key

4. Запустите основной сценарий:

python main.py

Как это работает

1. Обработка текста : входящие сообщения обрабатываются и очищаются
2. Генерация встраивания : преобразует текст в векторные встраивания
3. Семантический поиск : находит соответствующие предыдущие контексты, используя сходство косинуса
4. Интеграция контекста : объединяет соответствующую историю с текущим запросом
5. Генерация ответов : генерирует ответ с использованием LLM с расширенным контекстом
6. Хранение памяти : хранит новые взаимодействия для будущей ссылки

? Конфигурация

Система использует несколько настраиваемых параметров:

• Максимальная длина чанка: 2000 символов
• Минимальный размер куска: 100 символов
• Порог сходства: 0,5
• Ближайшие соседи по умолчанию: 10