openllmetry js

Untuk javascript / naskah

Observabilitas Sumber Terbuka untuk Aplikasi LLM Anda

Mulailah dengan Node.js atau Next.js »

Slack | Docs | Situs web

? Baru : Konvensi semantik kami sekarang menjadi bagian dari OpenTelemetry! Bergabunglah dengan diskusi dan bantu kami membentuk masa depan observabilitas LLM.

Openllmetry-Js adalah seperangkat ekstensi yang dibangun di atas openTelemetry yang memberi Anda kemampuan observasi lengkap atas aplikasi LLM Anda. Karena menggunakan OpenTelemetry di bawah kap, dapat dihubungkan ke solusi observabilitas Anda yang ada - Datadog, Honeycomb, dan lainnya.

Ini dibangun dan dikelola oleh Traceloop di bawah lisensi Apache 2.0.

REPO berisi instrumentasi opentelemetry standar untuk penyedia LLM dan DB vektor, serta SDK traceloop yang membuatnya mudah untuk memulai dengan OpenLlMetry-JS, sambil masih mengeluarkan data openTelemetri standar yang dapat dihubungkan ke tumpukan pengamatan Anda. Jika Anda sudah memiliki OpenTelemetry Instrumented, Anda bisa menambahkan instrumentasi kami secara langsung.

Memulai

Cara termudah untuk memulai adalah dengan menggunakan SDK kami. Untuk panduan lengkap, buka dokumen kami.

Instal SDK:

npm install --save @traceloop/node-server-sdk

Kemudian, untuk memulai instrumen kode Anda, cukup tambahkan 2 baris ini ke kode Anda:

 import * as traceloop from "@traceloop/node-server-sdk" ;

traceloop . initialize ( ) ;

Pastikan untuk import SDK sebelum mengimpor modul LLM.

Itu saja. Anda sekarang menelusuri kode Anda dengan OpenLlMetry-JS! Jika Anda menjalankan ini secara lokal, Anda mungkin ingin menonaktifkan pengiriman batch, sehingga Anda dapat segera melihat jejaknya:

 traceloop . initialize ( { disableBatch : true } ) ;

Sekarang, Anda perlu memutuskan ke mana harus mengekspor jejak.

⏫ tujuan yang didukung (dan diuji)

• ✅ Traceloop
• ✅ Dynatrace
• ✅ DataDog
• ✅ Relik baru
• ✅ Honeycomb
• ✅ grafana tempo
• ✅ Hyperdx
• ✅ Signoz
• ✅ Splunk
• ✅ Pengumpul OpenTelemetry

Lihat dokumen kami untuk instruksi tentang menghubungkan ke masing -masing.

? Apa yang kita instrumen?

OpenLlMetry -JS dapat instrumen semua yang sudah diantarkan oleh OpenTelemetry - jadi hal -hal seperti DB Anda, panggilan API, dan banyak lagi. Selain itu, kami membangun satu set ekstensi khusus yang membuat instrensi seperti panggilan Anda ke OpenAi atau Anthropic, atau vektor Anda seperti Pinecone, Chroma, atau Weaviate.

Penyedia LLM

• ✅ Openai
• ✅ Azure openai
• ✅ Antropik
• ✅ cohere
• ⏳ Replikasi
• ⏳ Huggingface
• ✅ Vertex AI (GCP)
• ✅ Bedrock (AWS)

DB vektor

• ✅ Pinecone
• ✅ Chroma
• ✅ Qdrant
• ⏳ Tenun
• ⏳ milvus

Kerangka kerja

• ✅ Langchain
• ✅ llamaindex

? Berkontribusi

Entah itu besar atau kecil, kami menyukai kontribusi ❤️ Periksa panduan kami untuk melihat cara memulai.

Tidak yakin harus mulai dari mana? Anda bisa:

• Pesan sesi pasangan gratis dengan salah satu rekan satu tim kami!
• Bergabunglah dengan Slack kami, dan tanyakan pada kami pertanyaan di sana.

Komunitas & Dukungan

• Slack (untuk diskusi langsung dengan komunitas dan tim Traceloop)
• Diskusi GitHub (untuk bantuan pembangunan dan percakapan yang lebih dalam tentang fitur)
• Masalah GitHub (untuk setiap bug dan kesalahan yang Anda temui menggunakan OpenLlMetry)
• Twitter (dapatkan berita cepat)