openlit
py-1.32.5
Documentation | QuickStart | SDK Python | SDK TypeScript |
Feuille de route | Demande de fonctionnalité | Signaler un bug
OpenLit vous permet de simplifier votre flux de travail de développement d'IA, en particulier pour les AI et les LLM génératifs. Il rationalise les tâches essentielles comme expérimenter les LLM, l'organisation et le versioning des invites et la manipulation sécurisée des clés d'API. Avec une seule ligne de code, vous pouvez activer l'observabilité native de l'OpenTelemetry , offrant une surveillance complète de l'ampleur qui comprend les LLM, les bases de données vectorielles et les GPU. Cela permet aux développeurs de construire en toute confiance les fonctionnalités et les applications de l'IA, en transition en douceur du test à la production.
Ce projet suit fièrement et maintient les conventions sémantiques avec la communauté de l'OpenTelelétrie, mettant constamment à jour pour s'aligner sur les dernières normes d'observabilité.
? Tableau de bord Analytics : Surveillez la santé et les performances de votre application AI avec des tableaux de bord détaillés qui suivent les mesures, les coûts et les interactions utilisateur, offrant une vue claire de l'efficacité globale.
? Opentelémétrie native d'observabilité SDKS : SDK neutre du fournisseur pour envoyer des traces et des mesures à vos outils d'observabilité existants.
? Suivi des coûts pour les modèles personnalisés et affinés : les estimations des coûts de tailleur pour des modèles spécifiques à l'aide de fichiers de tarification personnalisés pour une budgétisation précise.
? Exceptions de surveillance du tableau de bord : Problèmes de pit et résoudre rapidement en suivant les exceptions et les erreurs courantes avec un tableau de bord de surveillance dédié.
? Gestion de l'invite : gérer et les invites de version à l'aide d'un Hub Invite pour un accès cohérent et facile entre les applications.
? Clés API et Secrets Management : Gérez en toute sécurité vos clés API et vos secrets de manière centralisée, en évitant les pratiques non sécurisées.
? Expérience avec différents LLM : Utilisez Openground pour explorer, tester et comparer divers LLMS côte à côte.
Organigramme TB;
sub-graph ""
direction lr;
sub-graph ""
direction lr;
OpenLit_SDK [OpenLit SDK] -> | Envoie des traces et des métriques | OTC [Collecteur d'OpenTelemetry];
OTC -> | stocke les données | Click HousedB [Clickhouse];
fin
sub-graph ""
direction rl;
OpenLit_Ui [openlit] -> | tire les données | Click HousedB;
fin
fin
Référentiel Git Clone OpenLit
Ouvrez votre ligne de commande ou votre terminal et exécutez:
git clone [email protected]:openlit/openlit.gitAuto-hôte utilisant Docker
Déployer et exécuter OpenLit avec la commande suivante:
docker compose up -dPour les instructions sur l'installation dans Kubernetes à l'aide de Helm, reportez-vous au guide d'installation de Helm Kubernetes.
Ouvrez votre ligne de commande ou votre terminal et exécutez:
pip install openlitPour des instructions sur l'utilisation du SDK TypeScript, visitez le guide d'installation du SDK TypeScript.
Intégrez OpenLit dans vos applications AI en ajoutant les lignes suivantes à votre code.
import openlit
openlit . init ()Configurez la destination des données de télémétrie comme suit:
| But | Variable paramètre / environnement | Pour envoyer à OpenLit |
|---|---|---|
| Envoyer des données à un point de terminaison HTTP OTLP | otlp_endpoint ou OTEL_EXPORTER_OTLP_ENDPOINT | "http://127.0.0.1:4318" |
| Authentifier les backends de télémétrie | otlp_headers ou OTEL_EXPORTER_OTLP_HEADERS | Non requis par défaut |
Info: Si l'
otlp_endpointouOTEL_EXPORTER_OTLP_ENDPOINTn'est pas fourni, le SDK OpenLit sortira des traces directement à votre console, qui est recommandée pendant la phase de développement.
Ajoutez les deux lignes suivantes à votre code d'application:
import openlit
openlit . init (
otlp_endpoint = "http://127.0.0.1:4318" ,
)Ajoutez les deux lignes suivantes à votre code d'application:
import openlit
openlit . init ()Ensuite, configurez le point de terminaison de votre OTLP à l'aide de la variable d'environnement:
export OTEL_EXPORTER_OTLP_ENDPOINT = " http://127.0.0.1:4318 "Les données d'observabilité sont maintenant collectées et envoyées à OpenLit, l'étape suivante consiste à visualiser et à analyser ces données pour obtenir des informations sur les performances, le comportement de votre application d'IA et d'identifier les domaines d'amélioration.
Rendez-vous simplement sur OpenLit à 127.0.0.1:3000 sur votre navigateur pour commencer à explorer. Vous pouvez vous connecter en utilisant les informations d'identification par défaut
[email protected]openlituser 
Nous nous engageons à améliorer continuellement OpenLit. Voici un aperçu de ce qui a été accompli et de ce qui est à l'horizon:
| Fonctionnalité | Statut |
|---|---|
| SDK observabilité-observabilité de l'Opentelémétrie pour le traçage et les métriques | ✅ Terminé |
| Surveillance du GPU native de l'Opentelémétrie | ✅ Terminé |
| Exceptions et surveillance des erreurs | ✅ Terminé |
| Invite Hub pour gérer et verser des invites | ✅ Terminé |
| Openground pour tester et comparer les LLM | ✅ Terminé |
| Vault pour la gestion centrale des clés et secrets API LLM | ✅ Terminé |
| Suivi des coûts pour les modèles personnalisés | ✅ Terminé |
| Implémentation de garde-corps en temps réel | ✅ Terminé |
| Évaluation programmatique de la réponse LLM | ✅ Terminé |
| Métriques automatique d'évaluation basées sur l'utilisation | À venir |
| Rétroaction humaine pour les événements LLM | À venir |
| Génération d'ensembles de données basée sur les événements LLM | À venir |
| Recherche sur les traces | À venir |
Que ce soit grand ou petit, nous aimons les contributions. Consultez notre guide de contribution pour commencer
Vous ne savez pas par où commencer? Voici quelques façons de s'impliquer:
Votre contribution nous aide à grandir et à nous améliorer, et nous sommes ici pour vous soutenir à chaque étape du processus.
Connectez-vous avec la communauté OpenLit et les responsables pour le soutien, les discussions et les mises à jour:
OpenLit est disponible sous la licence Apache-2.0.
