barq
v0.71.0
Dabarqus ist eine eigenständige Anwendung, die eine vollständige Lappenlösung implementiert. Es ist so konzipiert, dass es einfach zu bedienen ist und einfach in Ihre vorhandenen Anwendungen integriert wird. Dabarqus enthält eine REST-API, eine Befehlszeilenschnittstelle und ein Admin-Dashboard.
Wenn Sie ein Entwickler sind, ist es ziemlich unkompliziert, eine einfache Lappenlösung zu bauen. Es gibt unzählige Tutorials und Anleitungen sowie Python-Code, um wieder zuverwenden. Wenn Sie jedoch Ihre Lag-Lösung in einem Unternehmen oder für PCs Endbenutzer einsetzen, müssen Sie auch einige potenziell schwierige Einsatz- und Wartungsprobleme herausfinden. Das bedeutet auch, Python, eine Vektor -Datenbank, das richtige Einbettungs -KI -Modell und mögliche Lizenzherausforderungen bereitzustellen. Dabarqus wurde erstellt, um diese Probleme mit einer eigenständigen All-in-One-Lösung ohne Abhängigkeiten anzugehen. Es ist in C ++ mit niedrigem Niveau mit integrierten Vektor-Suchfunktionen, Flexibilität für das Einbettungs-KI-Modell, das für Ihren Anwendungsfall am besten geeignet ist, und eine REST-API für die einfache Entwicklungsintegration geschrieben.
Dabarqus arbeitet nur an CPU oder kann Nvidia CUDA für eine höhere Leistung verwenden. Für die CUDA -Version (auch bekannt als Nvidia Cublas) müssen Sie den NVIDIA -Treiber installieren. Die CPU -Version benötigt keine zusätzliche Software. Beachten Sie, dass Sie für die Verwendung der CUDA -Version eine NVIDIA -GPU mit CUDA -Unterstützung benötigen und die CUDA -Version von Dabarqus herunterladen müssen.
Um NVIDIA -Treiber auf Ubuntu zu installieren (wenn Sie eine NVIDIA -GPU haben), führen Sie den folgenden Befehl aus:
sudo ubuntu-drivers installEntpacken Sie die Dabarqus -Datei in einen Ordner
unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
cd Dabarqus-linux-DOWNLOADED_VERSION
chmod +x ./bin/ *
./bin/barq service install Öffnen Sie einen Browser und gehen Sie zu http://localhost:6568/admin
Für Paketdatei -Downloads machen Sie Folgendes aus:
http://localhost:6568/adminFür ZIP -Datei -Downloads folgen Folgendes:
Entpacken Sie die Dabarqus -Datei in einen Ordner
unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
cd Dabarqus-linux-DOWNLOADED_VERSION
./bin/barq service install Öffnen Sie einen Browser und gehen Sie zu http://localhost:6568/admin
http://localhost:6568/admin Einnahmedokumente, Datenbanken und APIs : Einnahme verschiedene Datenquellen wie PDFS*, E -Mails und Rohdaten.
Aufforderung im LLM-Stil : Verwenden Sie die Eingabeaufforderungen im LLM-Stil, wenn Sie mit Ihren Speicherbanken sprechen.
REST -API : Umfassende Steuerschnittstelle zum Herunterladen von Modellen, zum Auffordern semantischer Indizes und sogar LLM -Inferenz.
Mehrere semantische Indizes (Speicherbanken) : Gruppieren Sie Ihre Daten in separate semantische Indizes (Speicherbanken).
SDKs : Native SDKs in Python und JavaScript.
LLM-freundliche Ausgabe : Erzeugt LLM-fähige Ausgabe, die mit Chatgpt, Ollama und jedem anderen LLM-Anbieter funktioniert
Admin-Dashboard : Überwachung der Leistung, Testspeicherbanken und Änderungen in einer benutzerfreundlichen Benutzeroberfläche vornehmen
MAC, Linux und Windows -Unterstützung : Läuft auf allen Plattformen nativ ohne Abhängigkeiten: macOS (Intel oder Metal), Linux und Windows (CPU oder GPU)
LLM -Inferenz : Chat mit LLM -Modellen direkt durch die Dabarqus -API/SDKs
*Dabarqus Professional Edition ist für E -Mail-, Messaging- und API -Unterstützung erforderlich.
Zu installieren: barq service install
Zu deinstallieren: barq service uninstall
Verwendung: barq store --input-path <path to folder> --memory-bank "<memory bank name>"
Beispiel: barq store --input-path C:docs --memory-bank documents
Verwendung: barq retrieve --memory-bank "<memory bank name>"
barq retrieve --memory-bank documentsbarq retrieve --memory-bank documents --query "Tell me about the documents" --query-limit 3 Dies zeigt drei Antworten auf die Abfrage aus der Speicherbank von 'Dokumenten an | Verfahren | Endpunkt | Beschreibung | Parameter |
|---|---|---|---|
| ERHALTEN | /Gesundheit oder /API /Gesundheit | Überprüfen Sie den Gesundheitszustand des Dienstes | Keiner |
| ERHALTEN | /admin/* | Servieren Sie die Administratoranwendung | Keiner |
| ERHALTEN | /odobo/* | Servieren Sie die ODOBO -Anwendung | Keiner |
| ERHALTEN | /API/Modelle | ARI -Modelle verfügbare KI -Modelle abrufen | Keiner |
| ERHALTEN | /API/Modell/Metadaten | Holen Sie sich Metadaten für ein bestimmtes Modell | modelRepo , filePath (optional) |
| ERHALTEN | /API/Downloads | Holen Sie sich Informationen zu heruntergeladenen Artikeln | modelRepo (optional), filePath (optional) |
| ERHALTEN | /API/Downloads/Enqueue | Geben Sie einen neuen Download ein | modelRepo , filePath |
| ERHALTEN | /API/Downloads/Abbrechen | Einen Download abbrechen | modelRepo , filePath |
| ERHALTEN | /api/downloads/entfernen | Entfernen Sie einen heruntergeladenen Artikel | modelRepo , filePath |
| ERHALTEN | /API/Inferenz | Informieren Sie sich über Inferenzelemente | alias (optional) |
| ERHALTEN | /API/Inferenz/Start | Starten Sie eine Schlussfolgerung | alias , modelRepo , filePath , address (optional), port (optional), contextSize (optional), gpuLayers (optional), chatTemplate (optional) |
| ERHALTEN | /API/Inferenz/Stopp | Stoppen Sie eine Schlussfolgerung | alias |
| ERHALTEN | /API/Inferenz/Status | Erhalten Sie den Status einer Schlussfolgerung | alias (optional) |
| ERHALTEN | /API/Inferenz/Reset | Eine Inferenz zurücksetzen | alias |
| ERHALTEN | /API/Inferenz/Neustart | Starten Sie die aktuelle Inferenz neu | Keiner |
| ERHALTEN | /API/Hardware oder/API/HardwareInfo | Holen Sie sich Hardwareinformationen | Keiner |
| ERHALTEN | /API/Seide | Speicherstatus erhalten | Keiner |
| ERHALTEN | /API/Seide/Aktivieren | Erinnerungen aktivieren | Keiner |
| ERHALTEN | /API/Seide/Deaktivieren | Erinnerungen deaktivieren | Keiner |
| ERHALTEN | /API/Seide/Memorybanks | Holen Sie sich Speicherbankeninformationen | Keiner |
| ERHALTEN | /API/Seide/MemoryBank/aktivieren | Aktivieren Sie eine Speicherbank | memorybank |
| ERHALTEN | /API/Seide/MemoryBank/Deaktivieren | Deaktivieren eine Speicherbank | memorybank , all |
| ERHALTEN | /API/Seide/Abfrage | Eine semantische Anfrage durchführen | (Parameter von Silk Retriever) |
| ERHALTEN | /API/Seide/Gesundheit | Überprüfen Sie die Gesundheit des Seidenretrievers | Keiner |
| ERHALTEN | /API/Seide/Modell/Metadaten | Holen Sie sich Modellmetadaten aus dem Seidenretriever | (Parameter von Silk Retriever) |
| ERHALTEN | /api/stilldown | Server -Herunterfahren initiieren | Keiner |
| POST | /api/utils/log | Schreiben Sie an Protokoll | JSON -Körper mit Protokolldetails |
| POST | /API/Seide/Einbettung | Holen Sie sich eine Einbettung aus dem Seidenretriever | (Parameter von Silk Retriever) |
curl http://localhost:6568/api/silk/query?q=Tell%20me%20about%20the%20documents&limit=3&memorybank=docs Beispiele für Dabarqus in Aktion finden Sie in diesem Repo unter Beispielen .
