VectorDB Plugin for KoboldAI

Banco de dados de vetor Koboldcpp

• Devido a restrições de tempo e capacidade de teste, suportadas apenas em sistemas Windows com uma Nvidia GPU .

Requisitos

1. ? Python 3.11 (Pytorch ainda não é compatível com o Python 3.12)

2. ? Git

3. ?

4. Pandoc.

5. O CUDA é tecnicamente "necessário", mas o script de instalação o instala automaticamente. Você não precisa tê -lo instalado em todo o sistema.

6. Construir ferramentas.

   Certas dependências não possuem "rodas" pré-compiladas, então você deve construí-las com algo como ferramentas de construção da Microsoft e/ou Visual Studio. Eu recomendo o Visual Studio, mas certifique -se de selecionar a extensão "Desenvolvimento de desktop com C ++" e verifique as quatro caixas à direita que contêm "SDK".

   Erro de exemplo no Windows

   
   Solução de exemplo no Windows

   

INSTALAÇÃO

Etapa 1

Faça o download da mais recente "Release", extraia seu conteúdo, navegue para a pasta "SRC" para executar os comandos abaixo.

• Nota: Se você clonar este repositório, não receberá a versão mais recente. Em vez disso, você desenvolverá versões deste programa que podem ou não ser estáveis.

Etapa 2

Navegue até a pasta src , abra um prompt de comando e crie um ambiente virtual:

 python -m venv .

Etapa 3

Ative o ambiente virtual:

 .Scriptsactivate

Etapa 4

Execução de execução:

 python setup_windows.py

Se você precisar tentar reinstalar por qualquer motivo, execute este comando para desinstalar tudo e tentar novamente: pip freeze > requirements_uninstall.txt && pip uninstall -r requirements_uninstall.txt -y && del requirements_uninstall.txt

Etapa 5

 python gui.py

USO

Comece Kobold

• Navegue até o github do KoboldCPP e faça o download do arquivo .exe apropriado ou execute python download_kobold.py do seu ambiente virtual.
• Selecione qualquer/todas as opções desejadas e inicie o programa, mas verifique e desmarque a opção Open Browser. Você também pode verificar o modo "silencioso", que impede que a janela de promotos de comando do Kobold imprima tudo em duplicado.