VectorDB Plugin for KoboldAI

Vector Database Koboldcpp

• Из -за ограничений времени и возможности тестирования поддерживается только в системах Windows с помощью Nvidia GPU .

ТРЕБОВАНИЯ

1. Python 3.11 (Pytorch еще не совместим с Python 3.12)

2. ? Гит

3. ? Git Большой хранилище файлов.

4. Пандок.

5. CUDA технически «требуется», но сценарий установки устанавливает его автоматически. Вам не нужно устанавливать его по всей системе.

6. Построить инструменты.

   В определенных зависимостях нет предварительно скомпилированных «колесами», поэтому вы должны создать их с чем-то вроде инструментов Microsoft Build и/или Visual Studio. Я рекомендую Visual Studio, но обязательно выберите расширение «Разработка рабочего стола с C ++» и проверьте четыре поле справа, содержащие «SDK».

   Пример ошибки в Windows

   
   Пример решения на Windows

   

Установка

Шаг 1

Загрузите последний «выпуск», извлечь его содержимое, перейдите в папку «SRC», чтобы запустить команды ниже.

• ПРИМЕЧАНИЕ. Если вы клонируете этот репозиторий, вы не получите последний релиз. Вместо этого вы разработаете версии этой программы, которые могут быть или не быть стабильными.

Шаг 2

Перейдите в папку src , откройте командную строку и создайте виртуальную среду:

 python -m venv .

Шаг 3

Активировать виртуальную среду:

 .Scriptsactivate

Шаг 4

Запустить настройку:

 python setup_windows.py

Если вам нужно попробовать переустановить по какой -либо причине. Запустите эту команду, чтобы удалить все и повторить еще раз: pip freeze > requirements_uninstall.txt && pip uninstall -r requirements_uninstall.txt -y && del requirements_uninstall.txt

Шаг 5

 python gui.py

Использование

Начни Кобольд

• Перейдите к GitHub Koboldcpp и загрузите соответствующий файл .exe или запустите python download_kobold.py вместо этого из вашей виртуальной среды.
• Выберите любые/все варианты, которые вы хотите, и запустите программу, но убедитесь, что и снимите опцию Open Browser. Вы также можете проверить «тихой» режим, который предотвращает окончание командной строки Kobold, печатать все в дублировании.