LLM MEM

llm-mem?

시맨틱 메모리 저장소가있는 향상된 언어 모델

벡터 임베딩 및 유사성 검색을 사용하여 지속적인 의미 론적 메모리로 언어 모델을 증대시키는 파이썬 기반 구현.

? 특징

• NLTK를 사용한 대화의 시맨틱 중단
• 문장 변압기를 사용한 벡터 임베딩 생성
• 코사인 유사성 기반 컨텍스트 검색
• 벡터 데이터베이스를 사용한 지속적인 메모리 저장
• 더 일관된 응답을위한 자동 컨텍스트 주입
• 코드 블록 보존으로 스마트 텍스트 청킹

기술 스택

• sentence-transformers : 의미 론적 임베딩을 생성합니다
• nltk : 텍스트 조작을위한 자연어 처리 툴킷
• 맞춤형 LLM 통합
• 임베딩을 저장 및 검색하기위한 벡터 스토어
• 벡터 작업에 대한 API 엔드 포인트를 휴식하십시오

? 전제 조건

• 문장 트랜스 셔머
• nltk
• 요청
• Google-Generativeai

빠른 시작

1. 저장소 복제 :

git clone https://github.com/Abhigyan126/LLM-MEM.git
cd LLM-MEM

2. 종속성 설치 :

pip install sentence-transformers nltk requests google-generativeai

3. .env 파일을 만듭니다

   key = your_llm_key

4. 기본 스크립트 실행 :

python main.py

작동 방식

1. 텍스트 처리 : 들어오는 메시지가 처리 및 청소됩니다
2. 임베딩 생성 : 텍스트를 벡터 임베딩으로 변환합니다
3. 시맨틱 검색 : 코사인 유사성을 사용하여 관련 이전 상황을 찾습니다.
4. 컨텍스트 통합 : 관련 기록을 현재 쿼리와 병합합니다
5. 응답 생성 : 컨텍스트가 향상된 LLM을 사용하여 응답 생성
6. 메모리 저장소 : 향후 참조를위한 새로운 상호 작용을 저장합니다

? 구성

시스템은 여러 구성 가능한 매개 변수를 사용합니다.

• 최대 청크 길이 : 2000 자
• 최소 청크 크기 : 100 자
• 유사성 임계 값 : 0.5
• 기본 가장 가까운 이웃 : 10