VectorDB Plugin for LM Studio

Base de données vectorielle suralimentée!

Exigences • Installation • Utilisation du programme • Demandez une fonctionnalité ou signalez un bogue • Contact

Ce référentiel vous permet de créer et de rechercher une base de données vectorielle pour le contexte pertinent sur une grande variété de documents, puis d'obtenir une réponse du modèle de grande langue plus précis. Ceci est communément appelé «génération augmentée de récupération» (RAG) et il réduit considérablement les hallucinations du LLM! Vous pouvez regarder une vidéo d'introduction ou lire un article moyen sur le programme.

En un coup d'œil

Fonctionnalité	Détails
Extraction générale de texte	.pdf .docx .epub .txt .html .enex .eml .msg .csv .xls .xlsx .rtf .odt
Modèles "Vision" pour créer des résumés d'images	.png .jpg .jpeg .bmp .gif .tif .tiff
Transcrire des fichiers audio au texte	.mp3 .wav .m4a .ogg .wma .flac et plus ...
Tapez ou parlez votre requête	Utilisation d'un puissant enregistreur vocal WhisperS2T
Obtenez une réponse d'un LLM	LM Studio Local Models Chat GPT (à venir)
Texte à la lecture de la parole de la réponse du LLM	Bark WhisperSpeech ChatTTS Google TTS
CPU et Nvidia GPU Support	À la recherche de testeurs ou de contributeurs pour les GPU AMD et Intel ainsi que Metal/MPS/MLX

Exigences

? Python 3.11 •? Git •? GIT LFS • Pandoc • Compilateur

Le lien ci-dessus télécharge Visual Studio comme exemple. Assurez-vous d'installer les SDK requis.

Exemple d'erreur Lorsqu'aucun compilateur n'est installé:

Exemple d'installation des SDK corrects:

Retour en haut

Installation

Étape 1

Téléchargez la dernière "version" "Extraire son contenu et ouvrez le dossier" SRC ":

• Remarque: Si vous clonez ce référentiel, vous obtiendrez la version de développement, qui peut être stable ou non.

La dernière tentative de soutenir? Linux et? MacOS est la version v3.5.2. Assurez-vous et suivez les instructions readme.md là-bas.

Étape 2

Dans le dossier src , créez un environnement virtuel:

 python -m venv .

Étape 3

Activez l'environnement virtuel:

 .Scriptsactivate

Étape 4

Exécutez le script de configuration:

Uniquement pour Windows pour l'instant.

 python setup_windows.py

Étape 5 - IMPORTANT

Afin d'utiliser les fonctionnalités Ask Jeeves, vous devez:

1. Allez dans le dossier Assets ;
2. Faites un clic droit sur koboldcpp_nocuda.exe ;
3. Vérifiez la case à cocher "Unblock"
4. Cliquez sur OK.

Si la case à cocher "Unblock" n'est pas visible pour une raison quelconque, une autre option consiste à doubler koboldcpp_nocuda.exe , à sélectionner le fichier .gguf dans le répertoire Assets et à démarrer le programme. Cela devrait (au moins sur Windows) tenter de démarrer le programme Kobold, qui déclenchera une option pour "l'autoriser" et / ou créer une exception à "Windows Defender" sur votre ordinateur. Sélectionnez "Autoriser" ou tout autre message que vous recevez, qui lui permettra pour toutes les interactions futures. Veuillez noter que vous devez le faire avant d'essayer d'exécuter les fonctionnalités Ask Jeeves dans ce programme; Sinon, cela pourrait ne pas fonctionner.

Soumettez un Issue GitHub si vous rencontrez des problèmes car Ask Jeeves est une fonctionnalité relativement nouvelle.

Retour en haut

Usage

Important pour des instructions plus détaillées, demandez à Jeeves!

Activer l'environnement virtuel et démarrer le programme

Chaque fois que vous souhaitez utiliser le programme, vous devez activer l'environnement virtuel:

 .Scriptsactivate

 python gui.py

Télécharger le modèle vectoriel

• Sélectionnez et téléchargez un modèle vectoriel / intégration dans l' Models Tab .

Créer une base de données vectorielle

Ce programme extrait le texte d'une variété de types de fichiers et les met dans la base de données vectorielle. Il vous permet également de créer des résumés des images et des transcriptions de fichiers audio à placer dans la base de données.

Entrer les types de fichiers généraux

Dans l'onglet Create Database , sélectionnez Fichiers que vous souhaitez ajouter à la base de données. Vous pouvez cliquer sur le bouton Choose Files autant que vous le souhaitez.

Entrer des images

Ce programme utilise des modèles "Vision" pour créer des résumés d'images, qui peuvent ensuite être entrées dans la base de données et recherchées. Avant de saisir des images, je vous recommande fortement de tester les différents modèles de vision pour celui que vous aimez le plus.

Pour tester un modèle de vision:

1. Dans l'onglet Create Database , sélectionnez une ou plusieurs images.
2. Dans l'onglet Settings , sélectionnez le modèle de vision que vous souhaitez tester.
3. Dans l'onglet Tools , traitez les images.

Après avoir déterminé le modèle de vision que vous aimez, ajoutez des images à la base de données en les sélectionnant dans l'onglet Create Database comme tout autre fichier. Lorsque vous finirez par créer la base de données, ils seront automatiquement traités.

Entrer les fichiers audio

Les fichiers audio peuvent être transcrits et placés dans la base de données à rechercher. Avant de transcrire un long fichier audio, je recommande fortement de tester les différents modèles Whisper sur un fichier audio plus court ainsi que d'expérimenter différents paramètres batch . Votre objectif devrait être d'utiliser un modèle aussi grand que votre GPU prend en charge, puis ajuster la taille du Whisper pour maintenir l'utilisation du VRAM dans votre VRAM disponible.

Pour tester les paramètres optimaux:

1. Dans l'onglet Tools , sélectionnez un fichier audio court.
2. Sélectionnez un modèle Whisper .
3. Traiter le fichier audio.
4. Dans l'onglet Create Database , doublez la transcription qui vient d'être créée.
5. Skimez le champ page content pour comprendre si la transcription est suffisamment précise pour votre cas d'utilisation ou si vous avez besoin de sélectionner le modèle Whisper plus précis.

Une fois que vous avez obtenu les paramètres optimaux de votre système, il est temps de transcrire un fichier audio dans la base de données:

1. Dans l'onglet Create Database , supprimez toutes les transcriptions que vous ne souhaitez pas saisir dans la base de données.
2. Créez de nouvelles transcriptions que vous souhaitez saisir (répéter pour plusieurs fichiers).

   Le traitement par lots n'est pas encore disponible.

Créant réellement la base de données

• Téléchargez un modèle vectoriel à partir de l'onglet Models .
• Dans l'onglet Create Database , créez la base de données.

Gâter la base de données

• L'onglet Manage Database vous permet de visualiser le contenu de toutes les bases de données que vous avez créées et les supprimer si vous le souhaitez.

Interroger une base de données (pas de studio LM)

• Dans l'onglet Query Database , sélectionnez la base de données que vous souhaitez utiliser dans le menu Pulldown.
• Entrez votre question en la tapant ou en utilisant le bouton Record Question .
• Cochez chunks only pour recevoir uniquement les contextes pertinents.
• Cliquez sur Submit Question .
  • Dans l'onglet Settings , vous pouvez modifier plusieurs paramètres concernant l'interrogation de la base de données. Plus d'informations peuvent être trouvées dans le guide de l'utilisateur.

Interrogez une base de données avec une réponse de LM Studio

Ce programme obtient des morceaux pertinents de la base de données Vector et les transmet - ainsi que votre question - à LM Studio pour une réponse!

• Effectuez les étapes ci-dessus concernant la saisie d'une question et le choix des paramètres, mais assurez-vous que Chunks Only sont pas contrôlés.
• Démarrez LM Studio et accédez à l'onglet Server à gauche.
• Chargez un modèle.
• Tournez Apply Prompt Formatting sur "OFF".
• Sur le côté droit dans Prompt Format , assurez-vous que tous les paramètres suivants sont vides:
  • System Message Prefix
  • System Message Suffix
  • User Message Prefix
  • User Message Suffix
• En haut, chargez un modèle dans LM Studio.
• À droite, ajustez le paramètre GPU Offload à votre goût.
• Dans mon programme, accédez à l'onglet Settings , sélectionnez le format d'invite approprié pour le modèle chargé dans LM Studio, cliquez sur Update Settings .
• Dans LM Studio, cliquez sur Start Server.
• Dans l'onglet Query Database , cliquez sur Submit Question .

Retour en haut

Demander une fonctionnalité ou signaler un bogue

N'hésitez pas à signaler les bogues ou à demander des améliorations en créant un problème sur GitHub ou en me contactant sur le serveur LM Studio Discord (voir le lien ci-dessous)!

CONTACT

Toutes les suggestions (positives et négatives) sont les bienvenues. "[email protected]" ou n'hésitez pas à m'envoyer un message sur le serveur LM Studio Discord.