barq
v0.71.0
DabarQUS est une application autonome qui implémente une solution de chiffon complète. Il est conçu pour être facile à utiliser et facile à intégrer avec vos applications existantes. DabarQUS comprend une API REST, une interface de ligne de commande et un tableau de bord d'administration.
Si vous êtes un développeur, construire une solution de chiffon de base est assez simple. Il y a des tonnes de didacticiels et de comment et de code Python à réutiliser. Mais, si vous déployez votre solution de chiffon au sein d'une entreprise ou pour les PC utilisateur final, vous devrez également trouver des problèmes de déploiement et de maintenance potentiellement délicats. Cela signifie également le déploiement de Python, une base de données vectorielle, le modèle d'intégration d'IA droite et les défis de licence possibles. DabarQUS a été créé pour résoudre ces problèmes avec une solution autonome et tout-en-un sans dépendances. Il est écrit en C ++ de bas niveau avec des capacités de recherche de vecteur intégrées, une flexibilité pour utiliser le modèle d'intégration d'IA qui est le meilleur pour votre cas d'utilisation et une API REST pour une intégration de développement facile.
DabarQUS fonctionne uniquement sur CPU, ou peut utiliser Nvidia Cuda pour des performances plus élevées. Pour la version CUDA (AKA NVIDIA CUBLAS), vous devrez installer le pilote Nvidia. La version CPU ne nécessite aucun logiciel supplémentaire. Notez que pour utiliser la version CUDA, vous devrez avoir un GPU NVIDIA avec le support CUDA et télécharger la version CUDA de DabarQUS.
Pour installer les pilotes Nvidia sur Ubuntu (si vous avez un GPU NVIDIA), exécutez la commande suivante:
sudo ubuntu-drivers installDécompressez le fichier dabarqus dans un dossier
unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
cd Dabarqus-linux-DOWNLOADED_VERSION
chmod +x ./bin/ *
./bin/barq service install Ouvrez un navigateur et allez sur http://localhost:6568/admin
Pour les téléchargements de fichiers de package, procédez comme suit:
http://localhost:6568/adminPour les téléchargements de fichiers zip, procédez comme suit:
Décompressez le fichier dabarqus dans un dossier
unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
cd Dabarqus-linux-DOWNLOADED_VERSION
./bin/barq service install Ouvrez un navigateur et allez sur http://localhost:6568/admin
http://localhost:6568/admin Ingérer des documents, des bases de données et des API : ingérez diverses sources de données comme les PDF *, les e-mails et les données brutes.
Invitation de style LLM : Utilisez des invites simples de style LLM lorsque vous parlez à vos banques de mémoire.
API REST : Interface de contrôle complète pour le téléchargement des modèles, invitant les index sémantiques et même l'inférence LLM.
Plusieurs index sémantiques (banques de mémoire) : regrouper vos données en index sémantiques séparés (banques de mémoire).
SDKS : SDKS natifs dans Python et JavaScript.
Sortie conviviale LLM : produit une sortie prête à LLM qui fonctionne avec Chatgpt, Olllama et tout autre fournisseur LLM
Tableau de bord d'administration : surveiller les performances, tester les banques de mémoire et apporter des modifications dans une interface utilisateur facile à utiliser
Prise en charge Mac, Linux et Windows : s'exécute nativement avec zéro dépendances sur toutes les plates-formes: macOS (Intel ou Metal), Linux et Windows (CPU ou GPU)
Inférence LLM : discuter avec les modèles LLM à travers l'API / SDK DabarQUS
* Dabarqus Professional Edition est requis pour les e-mails, la messagerie et la prise en charge de l'API.
Pour installer: barq service install
À désinstaller: barq service uninstall
Utilisation: barq store --input-path <path to folder> --memory-bank "<memory bank name>"
Exemple: barq store --input-path C:docs --memory-bank documents
Utilisation: barq retrieve --memory-bank "<memory bank name>"
barq retrieve --memory-bank documentsbarq retrieve --memory-bank documents --query "Tell me about the documents" --query-limit 3 Cela affichera trois réponses à la requête de la banque de mémoire 'Documents' | Méthode | Point final | Description | Paramètres |
|---|---|---|---|
| OBTENIR | / Santé ou / API / Santé | Vérifiez l'état de santé du service | Aucun |
| OBTENIR | / admin / * | Servir la demande d'administration | Aucun |
| OBTENIR | / odobo / * | Servir l'application Odobo | Aucun |
| OBTENIR | / API / modèles | Récupérer les modèles IA disponibles | Aucun |
| OBTENIR | / API / modèle / métadonnées | Obtenez des métadonnées pour un modèle spécifique | modelRepo , filePath (facultatif) |
| OBTENIR | / API / Téléchargements | Obtenez des informations sur les éléments téléchargés | modelRepo (facultatif), filePath (facultatif) |
| OBTENIR | / API / Téléchargements / ENQUEU | EnQuelue un nouveau téléchargement | modelRepo , filePath |
| OBTENIR | / API / Téléchargements / Annuler | Annuler un téléchargement | modelRepo , filePath |
| OBTENIR | / API / Téléchargements / Supprimer | Supprimer un article téléchargé | modelRepo , filePath |
| OBTENIR | / api / inférence | Obtenez des informations sur les éléments d'inférence | alias (facultatif) |
| OBTENIR | / api / inférence / démarrer | Commencer une inférence | alias , modelRepo , filePath , address (facultatif), port (facultatif), contextSize (facultatif), gpuLayers (facultatif), chatTemplate (facultatif) |
| OBTENIR | / api / inférence / arrêt | Arrêter une inférence | alias |
| OBTENIR | / api / inférence / statut | Obtenez le statut d'une inférence | alias (facultatif) |
| OBTENIR | / api / inférence / réinitialisation | Réinitialiser une inférence | alias |
| OBTENIR | / api / inférence / redémarrer | Redémarrer l'inférence actuelle | Aucun |
| OBTENIR | / api / matériel ou / API / HardwareInfo | Obtenir des informations matérielles | Aucun |
| OBTENIR | / api / soie | Obtenir l'état de la mémoire | Aucun |
| OBTENIR | / api / soie / activer | Activer les souvenirs | Aucun |
| OBTENIR | / API / Silk / Désactiver | Désactiver les souvenirs | Aucun |
| OBTENIR | / API / Silk / MemoryBanks | Obtenir des informations sur les banques de mémoire | Aucun |
| OBTENIR | / API / Silk / MemoryBank / Activate | Activer une banque de mémoire | memorybank |
| OBTENIR | / API / SILK / MemoryBank / Désactiver | Désactiver une banque de mémoire | memorybank , all |
| OBTENIR | / API / Silk / Query | Effectuer une requête sémantique | (Paramètres gérés par Silk Retriever) |
| OBTENIR | / API / SILK / SANTÉ | Vérifiez la santé du Retriever en soie | Aucun |
| OBTENIR | / API / SILK / MODÈLE / MÉTADONDES | Obtenez des métadonnées modèles du Retriever de la soie | (Paramètres gérés par Silk Retriever) |
| OBTENIR | / API / Arrêt | Initier l'arrêt du serveur | Aucun |
| POSTE | / api / utils / log | Écrire pour enregistrer | Corps JSON avec les détails du journal |
| POSTE | / API / SILK / INCRESSION | Obtenez une incorporation du Retriever en soie | (Paramètres gérés par Silk Retriever) |
curl http://localhost:6568/api/silk/query?q=Tell%20me%20about%20the%20documents&limit=3&memorybank=docs Des exemples de DabarQUS en action peuvent être trouvés dans ce dépôt à des exemples .
