openlit
py-1.32.5
Documentação | QuickStart | Python sdk | Datilografript sdk |
Roteiro | Solicitação de recurso | Relatar um bug
O OpenLit permite que você simplifique seu fluxo de trabalho de desenvolvimento de IA, especialmente para IA e LLMs generativos. Ele otimiza tarefas essenciais, como experimentar LLMs, organizar e versões, e lidar com as teclas da API com segurança. Com apenas uma linha de código, você pode ativar a observabilidade nativa de OpenElemetria , oferecendo monitoramento de pilha completa que inclui LLMS, bancos de dados vetoriais e GPUs. Isso permite que os desenvolvedores criem recursos e aplicações de IA com confiança, fazendo a transição suave de testes para a produção.
Este projeto segue orgulhosamente e mantém as convenções semânticas com a comunidade Opentelemetria, atualizando consistentemente para se alinhar com os mais recentes padrões de observabilidade.
? Painel de análise : monitore a saúde e o desempenho do seu aplicativo de IA com painéis detalhados que rastreiam métricas, custos e interações do usuário, fornecendo uma visão clara da eficiência geral.
? SDKs de observabilidade nativos do OpenElemetria : SDKs neutros em termos de fornecedores para enviar rastreios e métricas para suas ferramentas de observabilidade existentes.
? Rastreamento de custos para modelos personalizados e ajustados : estimativas de custo de adaptação para modelos específicos usando arquivos de preços personalizados para orçamento preciso.
? Exceções Monitoramento do painel : identifique rapidamente e resolva problemas, rastreando exceções e erros comuns com um painel de monitoramento dedicado.
? Gerenciamento de prompt : gerenciar e solicitar a versão de versão usando o hub rápido para obter acesso consistente e fácil entre os aplicativos.
? Gerenciamento de chaves e segredos da API : lide com segurança suas chaves e segredos da API centralmente, evitando práticas inseguras.
? Experience com diferentes LLMs : use o Openground para explorar, testar e comparar vários LLMs lado a lado.
TB de fluxograma;
subgraff ""
direção lr;
subgraff ""
direção lr;
Openlit_sdk [OpenLit SDK] -> | envia traços e métricas | OTC [coletor de Opentelemetria];
OTC -> | armazena dados | Clickhousedb [clickhouse];
fim
subgraff ""
direção rl;
OpenLit_Ui [OpenLit] -> | Puxa dados | ClickhousedB;
fim
fim
Repositório OpenLit de clone git
Abra sua linha de comando ou terminal e execute:
git clone [email protected]:openlit/openlit.gitAuto-hospedeiro usando o Docker
Implante e execute o OpenLit com o seguinte comando:
docker compose up -dPara obter instruções sobre a instalação em Kubernetes usando o Helm, consulte o guia de instalação do Kubernetes Helm.
Abra sua linha de comando ou terminal e execute:
pip install openlitPara obter instruções sobre o uso do TypeScript SDK, visite o Guia de instalação do TypeScript SDK.
Integre o OpenLit em seus aplicativos de IA adicionando as seguintes linhas ao seu código.
import openlit
openlit . init ()Configure o destino de dados de telemetria da seguinte forma:
| Propósito | Variável de parâmetro/ambiente | Para enviar para o OpenLit |
|---|---|---|
| Envie dados para um terminal HTTP OTLP | otlp_endpoint ou OTEL_EXPORTER_OTLP_ENDPOINT | "http://127.0.0.1:4318" |
| Autentique os back -ends de telemetria | otlp_headers ou OTEL_EXPORTER_OTLP_HEADERS | Não exigido por padrão |
Informações: Se o
otlp_endpointouOTEL_EXPORTER_OTLP_ENDPOINTnão for fornecido, o SDK do OpenLit produzirá traços diretamente no seu console, o que é recomendado durante a fase de desenvolvimento.
Adicione as duas linhas a seguir ao código do seu aplicativo:
import openlit
openlit . init (
otlp_endpoint = "http://127.0.0.1:4318" ,
)Adicione as duas linhas a seguir ao código do seu aplicativo:
import openlit
openlit . init ()Em seguida, configure o ponto final do seu OTLP usando a variável de ambiente:
export OTEL_EXPORTER_OTLP_ENDPOINT = " http://127.0.0.1:4318 "Com os dados de observabilidade agora sendo coletados e enviados para o OpenLit, a próxima etapa é visualizar e analisar esses dados para obter informações sobre o desempenho, o comportamento e identificar do seu aplicativo de IA.
Basta ir para o OpenLit em 127.0.0.1:3000 no seu navegador para começar a explorar. Você pode fazer login usando as credenciais padrão
[email protected]openlituser 
Dedicamos a melhorar continuamente o OpenLit. Aqui está uma olhada no que foi realizado e o que está no horizonte:
| Recurso | Status |
|---|---|
| Opentelemetria nativa SDK SDK para rastreamento e métricas | ✅ Concluído |
| Monitoramento da GPU nativo de Opentelemetria | ✅ Concluído |
| Exceções e monitoramento de erros | ✅ Concluído |
| Prompt Hub para gerenciar e versões prompts | ✅ Concluído |
| Openground para testar e comparar LLMs | ✅ Concluído |
| Vault para gerenciamento central de teclas e segredos da API LLM | ✅ Concluído |
| Rastreamento de custos para modelos personalizados | ✅ Concluído |
| Implementação em tempo real | ✅ Concluído |
| Avaliação programática para resposta de LLM | ✅ Concluído |
| Métricas de auto-avaliação com base no uso | Em breve |
| Feedback humano para eventos LLM | Em breve |
| Geração de dados com base em eventos LLM | Em breve |
| Pesquise sobre traços | Em breve |
Seja grande ou pequeno, adoramos contribuições. Confira nosso guia de contribuição para começar
Não sabe por onde começar? Aqui estão algumas maneiras de se envolver:
Sua opinião nos ajuda a crescer e melhorar, e estamos aqui para apoiá -lo a cada passo do caminho.
Conecte -se com a comunidade e mantenedores OpenLit para obter suporte, discussões e atualizações:
O OpenLit está disponível sob a licença Apache-2.0.
