VectorDB Plugin for KoboldAI

Base de données vectorielle koboldcpp

• En raison des contraintes de temps et de la capacité de tester, prises en charge uniquement sur les systèmes Windows avec un Nvidia GPU .

EXIGENCES

1. ? Python 3.11 (Pytorch n'est pas encore compatible avec Python 3.12)

2. ? Git

3. ? Git Large Fichier Storage.

4. Pandoc.

5. CUDA est techniquement "requis" mais le script d'installation l'installe automatiquement. Vous n'avez pas besoin de l'avoir installé à l'échelle du système.

6. Construire des outils.

   Certaines dépendances n'ont pas de "roues" pré-compilées, vous devez donc les construire avec quelque chose comme Microsoft Build Tools et / ou Visual Studio. Je recommande Visual Studio, mais assurez-vous de sélectionner l'extension "Development de bureau avec C ++" et cochez les quatre cases à droite contenant "SDK".

   Exemple d'erreur sur Windows

   
   Exemple de solution sur Windows

   

INSTALLATION

Étape 1

Téléchargez la dernière "version" "Extraire son contenu, accédez au dossier" SRC "pour exécuter les commandes ci-dessous.

• Remarque: Si vous clonez ce référentiel, vous n'obtiendrez pas la dernière version. Au lieu de cela, vous développerez des versions de ce programme qui peuvent être stables ou non.

Étape 2

Accédez au dossier src , ouvrez une invite de commande et créez un environnement virtuel:

 python -m venv .

Étape 3

Activez l'environnement virtuel:

 .Scriptsactivate

Étape 4

Exécuter la configuration:

 python setup_windows.py

Si vous devez essayer de réinstaller pour quelque raison que ce soit, exécutez cette commande pour désinstaller tout et réessayer: pip freeze > requirements_uninstall.txt && pip uninstall -r requirements_uninstall.txt -y && del requirements_uninstall.txt

Étape 5

 python gui.py

USAGE

Démarrer Kobold

• Accédez à GitHub de Koboldcpp et téléchargez le fichier .exe approprié ou exécutez python download_kobold.py à partir de votre environnement virtuel à la place.
• Sélectionnez toutes les options que vous souhaitez et démarrez le programme, mais assurez-vous et décochez l'option Open Browser. Vous pouvez également vérifier le mode "silencieux", ce qui empêche la fenêtre d'invite de commande de Kobold de tout imprimer en double.