VectorDB Plugin for KoboldAI

Koboldcpp 벡터 데이터베이스

• 시간 제약과 테스트 능력으로 인해 Nvidia GPU 있는 Windows 시스템에서만 지원됩니다.

요구 사항

1. ? Python 3.11 (Pytorch는 아직 Python 3.12와 호환되지 않습니다)

2. ? git

3. 큰 파일 스토리지를 git하십시오.

4. 팬닥.

5. CUDA는 기술적으로 "필수"이지만 설치 스크립트가 자동으로 설치됩니다. 시스템 전체에 설치할 필요가 없습니다.

6. 도구를 구축하십시오.

   특정 종속성에는 미리 컴파일 된 "휠"이 없으므로 Microsoft 빌드 도구 및/또는 비주얼 스튜디오와 같은 제품으로 구축해야합니다. Visual Studio를 권장하지만 "C ++가있는 데스크톱 개발"을 선택하고 오른쪽 "SDK"가 포함 된 4 개의 상자를 확인하십시오.

   Windows의 예제 오류

   
   Windows의 예제 솔루션

   

설치

1 단계

최신 "릴리스", 내용 추출을 다운로드하고 "SRC"폴더로 이동하여 아래 명령을 실행하십시오.

• 참고 :이 저장소를 복제하면 최신 릴리스를받지 못합니다. 대신,이 프로그램의 개발 버전은 안정적이거나 안정적 일 수 있습니다.

2 단계

src 폴더로 이동하여 명령 프롬프트를 열고 가상 환경을 만듭니다.

 python -m venv .

3 단계

가상 환경 활성화 :

 .Scriptsactivate

4 단계

실행 설정 :

 python setup_windows.py

어떤 이유로 든 다시 설치 해야하는 경우이 명령을 실행하여 모든 것을 제거하고 다시 시도하고 다시 시도하십시오 : pip freeze > requirements_uninstall.txt && pip uninstall -r requirements_uninstall.txt -y && del requirements_uninstall.txt

5 단계

 python gui.py

용법

Kobold를 시작하십시오

• Koboldcpp의 github로 이동하여 적절한 .exe 파일을 다운로드하거나 대신 가상 환경에서 python download_kobold.py 실행하십시오.
• 원하는 모든/모든 옵션을 선택하고 프로그램을 시작하지만 개방형 브라우저 옵션을 확인하고 확인하십시오. "조용한"모드를 확인할 수도 있습니다.이 모드는 Kobold의 명령 프롬프트 창이 모든 것을 복제 한 인쇄하는 것을 방지합니다.