openlit
py-1.32.5
Dokumentation | QuickStart | Python SDK | Typscript SDK |
Roadmap | Feature -Anfrage | Einen Fehler melden
Mit OpenLit können Sie Ihren KI -Entwicklungs -Workflow, insbesondere für generative KI und LLMs, vereinfachen. Es rationalisiert wesentliche Aufgaben wie das Experimentieren mit LLMs, Organisation und Versioning -Eingabeaufforderungen und sicherer Umgang mit API -Schlüssel. Mit nur einer Codezeile können Sie OpenTelemetry-nativen Observabilität aktivieren und eine Überwachung von Vollstapeln anbieten, die LLMs, Vektordatenbanken und GPUs umfasst. Auf diese Weise können Entwickler KI -Funktionen und -Anwendungen sicher erstellen und reibungslos vom Test zur Produktion übergehen.
Dieses Projekt folgt und behält stolz die semantischen Konventionen mit der Opentelemetry -Community und aktualisiert konsequent, um sich den neuesten Standards für die Beobachtbarkeit anzupassen.
? Analytics Dashboard : Überwachen Sie die Gesundheit und Leistung Ihrer KI -Anwendung mit detaillierten Dashboards, die Metriken, Kosten und Benutzerinteraktionen verfolgen und eine klare Übersicht über die Gesamteffizienz bieten.
? OpenTelemetry-native Beobachtbarkeits-SDKs : Lieferantenneutrale SDKs zum Senden von Spuren und Metriken an Ihre vorhandenen Beobachtbarkeitstools.
? Kostenverfolgung für benutzerdefinierte und fein abgestimmte Modelle : Schneidern Sie Kostenschätzungen für bestimmte Modelle mit benutzerdefinierten Preisdateien für eine präzise Budgetierung.
? Ausnahmen -Überwachungs -Dashboard : Erkennen Sie Probleme und lösen Sie Probleme schnell, indem Sie gemeinsame Ausnahmen und Fehler mit einem dedizierten Überwachungs -Dashboard verfolgen.
? Eingabeaufforderung : Verwalten und Versionen Eingabeaufforderungen über ein formuliertes Hub für einen konsistenten und einfachen Zugriff über Anwendungen hinweg.
? API -Tasten und Geheimnisse Management : Behandeln Sie Ihre API -Schlüssel und Geheimnisse zentral, wodurch unsichere Praktiken vermieden werden.
? Erleben Sie mit verschiedenen LLMs : Verwenden Sie Openground, um verschiedene LLMs nebeneinander zu erforschen, zu testen und zu vergleichen.
Flussdiagramm TB;
Subgraph "" "
Richtung LR;
Subgraph "" "
Richtung LR;
OpenLit_SDK [OpenLit SDK] -> | Sendet Spuren & Metriken | OTC [Opentelemetry -Kollektor];
OTC -> | speichert Daten | ClickhousedB [Clickhouse];
Ende
Subgraph "" "
Richtung RL;
OpenLit_Ui [OpenLit] -> | Daten zieht | ClickhousedB;
Ende
Ende
Git Clone OpenLit Repository
Öffnen Sie Ihre Befehlszeile oder Ihr Terminal und führen Sie aus:
git clone [email protected]:openlit/openlit.gitSelbstHost mit Docker
Führen Sie OpenLit mit dem folgenden Befehl bereit und führen Sie sie aus:
docker compose up -dFür Anweisungen zur Installation in Kubernetes mit Helm finden Sie im Kubernetes -Helm -Installationshandbuch.
Öffnen Sie Ihre Befehlszeile oder Ihr Terminal und führen Sie aus:
pip install openlitFür Anweisungen zur Verwendung des TypsScript -SDK finden Sie die Typscript -SDK -Installationshandbuch.
Integrieren Sie OpenLit in Ihre KI -Anwendungen, indem Sie Ihren Code die folgenden Zeilen hinzufügen.
import openlit
openlit . init ()Konfigurieren Sie das Telemetriedatenziel wie folgt:
| Zweck | Parameter/Umgebungsvariable | Zum Senden an OpenLit |
|---|---|---|
| Senden Sie Daten an einen HTTP -OTLP -Endpunkt | otlp_endpoint oder OTEL_EXPORTER_OTLP_ENDPOINT | "http://127.0.0.1:4318" |
| Authentifizierende Telemetrie -Backends | otlp_headers oder OTEL_EXPORTER_OTLP_HEADERS | Standardmäßig nicht erforderlich |
Info: Wenn der
otlp_endpointOTEL_EXPORTER_OTLP_ENDPOINTSDK nicht zu Ihrer Konsole ausgibt, wird das OpenLit SDK direkt zu Ihrer Konsole ausgegeben, was während der Entwicklungsphase empfohlen wird.
Fügen Sie Ihrem Anwendungscode die folgenden zwei Zeilen hinzu:
import openlit
openlit . init (
otlp_endpoint = "http://127.0.0.1:4318" ,
)Fügen Sie Ihrem Anwendungscode die folgenden zwei Zeilen hinzu:
import openlit
openlit . init ()Konfigurieren Sie dann Ihren OTLP -Endpunkt mithilfe der Umgebungsvariablen:
export OTEL_EXPORTER_OTLP_ENDPOINT = " http://127.0.0.1:4318 "Mit den jetzt gesammelten und an OpenLit gesendeten Beobachtbarkeitsdaten besteht der nächste Schritt darin, diese Daten zu visualisieren und zu analysieren, um Einblicke in die Leistung, das Verhalten Ihrer KI -Anwendung zu erhalten und Verbesserungsbereiche zu identifizieren.
Gehen Sie einfach unter 127.0.0.1:3000 in Ihrem Browser, um mit der Erkundung zu beginnen. Sie können sich mit den Standard -Anmeldeinformationen anmelden
[email protected]openlituser 
Wir widmen uns der ständigen Verbesserung der OpenLit. Hier ist ein Blick auf das, was erreicht wurde und was am Horizont steht:
| Besonderheit | Status |
|---|---|
| Opentelemetrie-natives Observabilitäts-SDK für Verfolgung und Metriken | ✅ abgeschlossen |
| OpenTelemetry-native GPU-Überwachung | ✅ abgeschlossen |
| Ausnahmen und Fehlerüberwachung | ✅ abgeschlossen |
| Drang Hub zum Verwalten und Versionsaufforderungen einschalten | ✅ abgeschlossen |
| Openground zum Testen und Vergleich von LLMs | ✅ abgeschlossen |
| Tresor für die zentrale Verwaltung von LLM -API -Schlüssel und Geheimnissen | ✅ abgeschlossen |
| Kostenverfolgung für benutzerdefinierte Modelle | ✅ abgeschlossen |
| Implementierung von Echtzeit-Leitplanken | ✅ abgeschlossen |
| Programmatische Bewertung für die LLM -Reaktion | ✅ abgeschlossen |
| Metriken zur automatischen Bewertung auf der Grundlage der Nutzung | Bald kommen |
| Menschliches Feedback für LLM -Ereignisse | Bald kommen |
| Datensatzgenerierung basierend auf LLM -Ereignissen | Bald kommen |
| Suche über Spuren | Bald kommen |
Ob es groß oder klein ist, wir lieben Beiträge. Schauen Sie sich unseren Beitragsführer an, um loszulegen
Sie sind sich nicht sicher, wo Sie anfangen sollen? Hier sind einige Möglichkeiten, sich zu engagieren:
Ihre Input hilft uns, zu wachsen und uns zu verbessern, und wir sind hier, um Sie jeden Schritt des Weges zu unterstützen.
Verbinden Sie sich mit OpenLit Community und Warters für Unterstützung, Diskussionen und Aktualisierungen:
OpenLit ist unter der Lizenz Apache-2.0 verfügbar.
