openlit
py-1.32.5
Dokumentasi | QuickStart | Python SDK | Naskah sdk |
Peta jalan | Permintaan fitur | Laporkan bug
OpenLit memungkinkan Anda untuk menyederhanakan alur kerja pengembangan AI Anda, terutama untuk AI dan LLMS generatif. Ini merampingkan tugas -tugas penting seperti bereksperimen dengan LLM, pengorganisasian dan versi versi, dan dengan aman menangani kunci API. Dengan hanya satu baris kode, Anda dapat mengaktifkan observabilitas pribumi OpenTelemetry , menawarkan pemantauan tumpukan penuh yang mencakup LLM, database vektor, dan GPU. Ini memungkinkan pengembang untuk dengan percaya diri membangun fitur dan aplikasi AI, beralih dengan lancar dari pengujian ke produksi.
Proyek ini dengan bangga mengikuti dan mempertahankan konvensi semantik dengan komunitas OpenTelemetry, secara konsisten memperbarui untuk menyelaraskan dengan standar terbaru dalam observabilitas.
? Analisis Dasbor : Pantau kesehatan dan kinerja aplikasi AI Anda dengan dasbor terperinci yang melacak metrik, biaya, dan interaksi pengguna, memberikan tampilan yang jelas tentang efisiensi keseluruhan.
? OpenTelemetry-Native Observability SDK : SDK vendor-netral untuk mengirim jejak dan metrik ke alat pengamatan Anda yang ada.
? Pelacakan biaya untuk model khusus dan disesuaikan : Estimasi biaya khusus untuk model tertentu menggunakan file harga khusus untuk penganggaran yang tepat.
? Pengecualian Dashboard Pemantauan : Cepat tempat dan selesaikan masalah dengan melacak pengecualian dan kesalahan umum dengan dasbor pemantauan khusus.
? Manajemen Prompt : Kelola dan Versi Prompt Menggunakan Prompt Hub untuk akses yang konsisten dan mudah di seluruh aplikasi.
? Manajemen Kunci dan Rahasia API : Tangani Kunci API dan Rahasia Anda dengan aman, menghindari praktik yang tidak aman.
? Pengalaman dengan LLMS yang berbeda : Gunakan OpenGround untuk mengeksplorasi, menguji dan membandingkan berbagai LLMS berdampingan.
Flowchart TB;
subgraph ""
arah LR;
subgraph ""
arah LR;
OpenLit_SDK [OpenLit SDK] -> | Mengirim Jejak & Metrik | OTC [OpenTelemetry Collector];
OTC -> | Menyimpan Data | Clickhousedb [clickhouse];
akhir
subgraph ""
arah rl;
OpenLit_UI [OpenLit] -> | Tarik Data | Clickhousedb;
akhir
akhir
Git Clone OpenLit Repository
Buka baris perintah atau terminal Anda dan jalankan:
git clone [email protected]:openlit/openlit.gitPembawa acara sendiri menggunakan Docker
Menyebarkan dan menjalankan OpenLit dengan perintah berikut:
docker compose up -dUntuk instruksi tentang pemasangan di Kubernet menggunakan Helm, lihat Panduan Instalasi Helm Kubernetes.
Buka baris perintah atau terminal Anda dan jalankan:
pip install openlitUntuk instruksi tentang menggunakan SDK TypeScript, kunjungi Panduan Instalasi SDK TypeScript.
Integrasikan OpenLit ke dalam aplikasi AI Anda dengan menambahkan baris berikut ke kode Anda.
import openlit
openlit . init ()Konfigurasikan tujuan data telemetri sebagai berikut:
| Tujuan | Variabel parameter/lingkungan | Untuk dikirim ke OpenLit |
|---|---|---|
| Kirim Data ke HTTP OTLP Endpoint | otlp_endpoint atau OTEL_EXPORTER_OTLP_ENDPOINT | "http://127.0.0.1:4318" |
| Otentikasi Backends Telemetri | otlp_headers atau OTEL_EXPORTER_OTLP_HEADERS | Tidak diharuskan secara default |
Info: Jika
otlp_endpointatauOTEL_EXPORTER_OTLP_ENDPOINTtidak disediakan, OpenLit SDK akan mengeluarkan jejak langsung ke konsol Anda, yang direkomendasikan selama fase pengembangan.
Tambahkan dua baris berikut ke kode aplikasi Anda:
import openlit
openlit . init (
otlp_endpoint = "http://127.0.0.1:4318" ,
)Tambahkan dua baris berikut ke kode aplikasi Anda:
import openlit
openlit . init ()Kemudian, konfigurasikan titik akhir OTLP Anda menggunakan variabel lingkungan:
export OTEL_EXPORTER_OTLP_ENDPOINT = " http://127.0.0.1:4318 "Dengan data observabilitas yang sekarang sedang dikumpulkan dan dikirim ke OpenLit, langkah selanjutnya adalah memvisualisasikan dan menganalisis data ini untuk mendapatkan wawasan tentang kinerja aplikasi, perilaku, dan mengidentifikasi bidang perbaikan Anda.
Buka saja ke OpenLit di 127.0.0.1:3000 di browser Anda untuk mulai menjelajah. Anda dapat masuk menggunakan kredensial default
[email protected]openlituser 
Kami berdedikasi untuk terus meningkatkan OpenLit. Berikut ini apa yang telah dicapai dan apa yang ada di cakrawala:
| Fitur | Status |
|---|---|
| OpenTelemetry-Native Observability SDK untuk Penelusuran dan Metrik | ✅ selesai |
| Pemantauan GPU OpenTelemetry-asli | ✅ selesai |
| Pengecualian dan Pemantauan Kesalahan | ✅ selesai |
| Hub prompt untuk mengelola dan memicu versi | ✅ selesai |
| Openground untuk menguji dan membandingkan LLMS | ✅ selesai |
| Kubah untuk manajemen pusat kunci dan rahasia LLM | ✅ selesai |
| Pelacakan Biaya untuk Model Kustom | ✅ selesai |
| Implementasi pagar balik waktu-nyata | ✅ selesai |
| Evaluasi terprogram untuk respons LLM | ✅ selesai |
| Metrik evaluasi otomatis berdasarkan penggunaan | Segera hadir |
| Umpan Balik Manusia untuk Acara LLM | Segera hadir |
| Pembuatan dataset berdasarkan acara LLM | Segera hadir |
| Cari jejak | Segera hadir |
Apakah itu besar atau kecil, kami menyukai kontribusi. Lihat panduan kontribusi kami untuk memulai
Tidak yakin dari mana harus memulai? Berikut beberapa cara untuk terlibat:
Masukan Anda membantu kami tumbuh dan meningkatkan, dan kami di sini untuk mendukung Anda setiap langkah.
Terhubung dengan Komunitas Openlit dan Pemelihara untuk Dukungan, Diskusi, dan Pembaruan:
OpenLit tersedia di bawah lisensi APACHE-2.0.
