gpt all local

개인 데이터에 LLM을 모두 로컬로 사용합니다

이 프로젝트는 LLM (Large Language Model)을 사용하여 개인 데이터에서 정보를 검색하고 모든 작품 (모델 포함)을 로컬로 실행하는 학습 운동입니다. 목표는 컴퓨터에서 LLM을 실행하여 컴퓨터의 파일 세트에 대한 질문을하는 것입니다. 파일은 PDF, Word 또는 텍스트 파일과 같은 모든 유형의 문서 일 수 있습니다.

LLM과 개인 데이터를 결합하는이 방법을 검색-방지 생성 (RAG)이라고합니다. 이 논문에서 소개되었습니다.

크레딧이 마감되는 위치 : 나는이 프로젝트를 원래 PrivateGpt (현재 원시 버전이라고 부르는 것)를 기반으로합니다. 나는 그들이 어떻게 작동하는지 이해하기 위해 조각들을 되풀이했다. 출처 섹션에서 자세한 내용을 참조하십시오.

우리가 달성하려는 것 : 컴퓨터에 파일 세트가 주어지면 (a), 우리는 그 컴퓨터에서 큰 언어 모델 (b)을 실행하여 질문에 대한 질문에 대답하기를 원합니다 (b).

그러나 파일을 모델에 직접 공급할 수는 없습니다. 대형 언어 모델 (LLM)에는 정보를 제공 할 수있는 정보 (작업 메모리)를 제한하는 컨텍스트 창이 있습니다. 이 한계를 극복하기 위해 파일을 청크라고하는 작은 조각 으로 나누고 관련 파일 만 모델 (d)에 공급합니다.

그러나 그 질문은 "관련 덩어리를 어떻게 찾을 수 있습니까?" 가됩니다. . 우리는 유사성 검색 (e)을 사용하여 질문과 청크와 일치합니다. 유사성 검색에는 의미 론적 관계를 인코딩하는 벡터가있는 단어의 표현 인 벡터 임베딩 (F)이 필요합니다 (기술적으로 밀도가 높은 벡터 임베딩,이를 단어의 백 및 TF-IDF와 같은 희소 벡터 표현과 혼동하지 않도록). 관련 덩어리가 있으면 질문과 결합하여 LLM에 질문에 대답하도록 지시하는 프롬프트 (g)를 만듭니다.

우리는 마지막 조각이 필요합니다 : 영구 스토리지. 청크를위한 임베딩을 만드는 데는 시간이 걸립니다. 우리는 질문을 할 때마다 그렇게하고 싶지 않습니다. 따라서 벡터 스토어 (또는 데이터베이스) (H)에 포함 및 원본 텍스트 (청크)를 저장해야합니다. 벡터 스토어는 원래 텍스트 청크와 벡터 임베딩을 저장하기 때문에 커질 수 있습니다. 우리는 벡터 인덱스 (I)를 사용하여 관련 청크를 효율적으로 찾습니다.

이제 우리는 필요한 모든 조각을 가지고 있습니다.

구현을 데이터 수집 및 검색의 두 부분으로 나눌 수 있습니다.

1. 섭취 : 목표는 로컬 파일을 LLM 입력 크기 (컨텍스트 창)에 맞는 작은 청크로 나누는 것입니다. 또한 각 청크에 대해 벡터 임베딩을 만들어야합니다. 벡터 임베딩을 통해 질문에 답할 수있는 가장 관련성이 높은 덩어리를 찾을 수 있습니다. 청크 및 삽입에는 시간이 걸리므로 한 번만 그렇게하려면 결과를 벡터 저장소 (데이터베이스)에 저장합니다.
2. 검색 : 사용자 질문이 주어지면 유사성 검색을 사용하여 가장 관련성이 높은 덩어리를 찾습니다 (예 : 질문과 관련된 로컬 파일의 조각). 가장 관련성이 높은 청크를 결정하면 LLM을 사용하여 질문에 답할 수 있습니다. 이를 위해, 우리는 사용자 질문을 관련 청크와 결합하고 LLM에 질문에 답변하도록 지시합니다.

이 두 단계는 다음 다이어그램에 설명되어 있습니다.

이 프로젝트를 사용하는 방법

아직 그렇게하지 않았다면 환경을 준비하십시오. 이미 환경을 준비한 경우 source venv/bin/activate 로 활성화하십시오.

이 프로젝트를 사용하는 두 가지 방법이 있습니다.

1. 명령 줄 인터페이스 :이 내용을 사용하여 더 많은 로그를보고 무슨 일이 일어나고 있는지 이해하십시오 (아래 --verbose 보스 플래그 참조).
2. 간소화 앱 :보다 사용자 친화적 인 경험을 위해 이것을 사용하십시오.

명령 줄 인터페이스

1. 사용하려는 파일을 data 폴더에 복사하십시오.
2. python main.py ingest 실행하여 파일을 벡터 저장소에 섭취하십시오.
3. python main.py retrieve 벡터 스토어에서 데이터를 검색하십시오. 그것은 당신에게 질문을 자극 할 것입니다.

--verbose 플래그를 사용하여 프로그램이 무대 뒤에서하는 일에 대한 자세한 내용을 얻으십시오.

데이터를 반복하려면 vector_store 폴더를 삭제하고 python main.py ingest 다시 실행하십시오.

간소화 앱

streamlit run app.py 실행하십시오. 브라우저 창에서 앱을 엽니 다.

이 명령은 처음 실행할 때 실패 할 수 있습니다. 파이썬 환경이 Pyenv와 함께 어떻게 작동하는지 어딘가에 결함이 있습니다. Streamlit에 "모듈 메시지를 가져올 수 없음"을 표시하면, deactivate 로 파이썬 환경을 비활성화하고 source venv/bin/activate 로 다시 활성화하고 streamlit run app.py 실행하십시오.

설계

데이터 수집

아직 그렇게하지 않았다면 환경을 준비하십시오. 이미 환경을 준비한 경우 source venv/bin/activate 로 활성화하십시오.

명령 : python main.py ingest [--verbose]

이 단계의 목표는 데이터를 검색 할 수 있도록하는 것입니다. 그러나 사용자의 질문과 데이터 내용이 정확히 일치하지 않을 수 있습니다. 따라서 간단한 검색 엔진을 사용할 수 없습니다. 벡터 임베딩에서 지원하는 유사성 검색을 수행해야합니다. 벡터 임베딩은이 단계에서 가장 중요한 부분입니다.

데이터 수집에는 다음 단계가 있습니다.

1. 파일로드 : 문서 유형과 일치하는 문서 리더는 파일을로드하는 데 사용됩니다. 이 시점에서 파일 내용 (지금부터 "문서")이있는 문자 배열이 있습니다. 메타 데이터, 그림 등은 무시됩니다.
2. 문서를 청크로 나눕니다. 문서 스플리터는 문서를 지정된 크기의 덩어리로 나눕니다. 모델의 컨텍스트 크기에 맞게 문서를 분할해야합니다 (유료 모델을 사용할 때는 더 적은 토큰을 보내려면). 각 청크의 정확한 크기는 문서 스플리터에 따라 다릅니다. 예를 들어, 문장 스플리터는 문장 수준에서 분할을 시도하여 일부 청크가 지정된 크기보다 작습니다.
3. 각 청크에 대한 벡터 임베딩 생성 : 임베딩 모델은 각 청크에 대한 벡터 임베딩을 만듭니다. 이것은 우리가 질문에 대답하는 데 도움이되는 가장 관련성이 높은 덩어리를 찾을 수있는 중요한 단계입니다.
4. 임베딩을 벡터 데이터베이스 (스토어)에 저장 : 위에서 수행 한 모든 작업을 지속하여 향후 반복 할 필요가 없습니다.

향후 개선 :

• 더 지능적인 문서 구문 분석. 예를 들어, 그림 캡션을 섹션 텍스트와 혼합하지 마십시오. 참조 섹션을 구문 분석하지 마십시오 (또는 인라인 참조를 실제 참조 텍스트로 바꾸십시오).
• 병렬 처리를 향상시킵니다. 이상적으로는 각 파일에 대해 전체 워크 플로 (로드 문서, 청크, 임베드, 지속)를 병렬로 실행하려고합니다. 이를 위해서는 I/O 바운드뿐만 아니라 CPU 바운드 작업을 병렬화하는 솔루션이 필요합니다. 벡터 스토어는 여러 작가도 지원해야합니다.
• 다른 청크 전략을 시도하고, 예를 들어 문장 스플리터 ( NLTKTextSplitter 또는 SpacyTextSplitter )가 답을 향상시키는 지 확인하십시오.
• LLM 입력 (컨텍스트) 크기를 기준으로 청킹 크기를 선택하십시오. 현재 소수로 하드 코딩되어 결과의 품질에 영향을 줄 수 있습니다. 반면에 LLM API의 비용을 절약합니다. 우리는 균형을 찾아야합니다.
• 섭취 과정을 자동화하십시오. 새 파일이 있거나 변경된 경우 감지하여 수집하십시오.

데이터 검색

아직 그렇게하지 않았다면 환경을 준비하십시오. 이미 환경을 준비한 경우 source venv/bin/activate 로 활성화하십시오.

명령 : python main.py retrieve [--verbose]

이 단계의 목표는 로컬 데이터에서 정보를 검색하는 것입니다. 우리는 벡터 스토어에서 가장 관련성이 높은 덩어리를 가져 와서 사용자의 질문과 프롬프트와 결합하여 그렇게합니다. 프롬프트는 언어 모델 (LLM)에 질문에 답변하도록 지시합니다.

데이터 검색 데이터에는 다음 단계가 있습니다.

1. 가장 관련성이 높은 덩어리를 찾으십시오. 벡터 스토어는 질문에 가장 관련이있는 덩어리를 찾도록 쿼리됩니다.
2. 청크를 질문과 프롬프트와 결합하십시오. 청크는 질문과 프롬프트와 결합됩니다. 프롬프트는 LLM에 질문에 답변하도록 지시합니다.
3. 결합 된 텍스트를 LLM으로 보내십시오 : 결합 된 텍스트는 LLM으로 전송되어 답을 얻습니다.

향후 개선 :

• 검색 프로세스의 단계를보기 위해 Langchain 콜백을 추가하십시오.
• 로컬 문서에있는 것만으로만 답변 할 프롬프트를 개선하십시오. 예를 들어 "다음 문서의 정보 만 사용하십시오. ...". 이 단계가 없으면 모델은 훈련 데이터의 답변을 꿈꾸는 것처럼 보이며, 이는 항상 관련이있는 것은 아닙니다.
• 공격적인 답변을 필터링하기 위해 중재를 추가하십시오.
• "검색 결과를 과도하게 가져온 다음 수정 자 또는 수정 자 세트를 기반으로 결정적으로 재고를 결정합니다." .
• 다른 체인 유형 (이전 지점과 관련하여)을 시도하십시오.

결과 개선

우리는 합리적인 시간 안에 로컬 기계에서 실행하기 위해 약간의 타협을해야했습니다.

• 우리는 작은 모델을 사용합니다. 이것은 변화하기 어렵습니다. 모델은 CPU에서 실행되어 메모리에 적합해야합니다.
• 우리는 작은 임베딩 크기를 사용합니다. 섭취 과정을 더 오래 기다리면 임베딩 크기를 늘릴 수 있습니다.
• 모든 것을 동일하게 유지하고 다른 체인을 시도하십시오.

출처

수집/검색 코드의 대부분은 원래 PrivateGpt 를 기반으로합니다.

다른 점 :

• UI 용 간소화 앱.
• 최신 임베딩 및 대형 언어 모델 버전을 사용하십시오.
• 파이썬 코드를 현대화했습니다. 예를 들어, os.path 대신 pathlib 사용하고 인쇄 문 대신 올바른 로깅이 있습니다.
• 무슨 일이 일어나고 있는지 이해하기 위해 더 많은 로깅을 추가했습니다. --verbose 플래그를 사용하여 세부 사항을보십시오.
• 수집/검색 단계를 실행하기위한 주요 프로그램을 추가했습니다.
• 예를 들어 포옹 페이스 트랜스포머 및 랑케인 문서 로더를위한 간접 종속성으로 requirements.txt 채워집니다.

이 프로젝트를 개발하는 동안 수집 된 더 많은 메모는이 파일을 참조하십시오.

환경 준비

이것은 일회성 단계입니다. 이미이 작업을 수행 한 경우 source venv/bin/activate 사용하여 가상 환경을 활성화하십시오.

파이썬 환경

가상 환경을 만들려면 다음 명령을 실행하고 필요한 패키지를 설치하십시오.

python3 -m venv venv
source venv/bin/activate
pip install --upgrade pip
pip install -r requirements.txt

PDF 파싱

unstructured PDF 파서는 실제 파서 패키지 위에있는 레이어입니다. "다음 시스템 의존성 설치"총알에 따라 unstructured readme의 지침을 따르십시오. Poppler 및 Tesseract 패키지가 필요합니다 (다른 것들을 무시하십시오).

모델

CPU에서 실행되는 작은 모델로 시작하는 것이 좋습니다. gpt4all에는 여기에 모델 목록이 있습니다. 나는 Mistral-7B-Openorca Q4로 테스트했습니다. 8GB의 RAM이 필요합니다. 일부 모델에는 제한 라이센스가 있습니다. 상업 프로젝트에서 사용하기 전에 라이센스를 확인하십시오.

1. models 이라는 폴더를 만듭니다.
2. Mistral 7B Openorca (3.8GB 다운로드, 8GB RAM)를 다운로드하려면 여기를 클릭하십시오.
3. 모델을 models 폴더에 복사하십시오.