openllmetry js

สำหรับ JavaScript / typescript

การสังเกตโอเพนซอร์ซสำหรับแอปพลิเคชัน LLM ของคุณ

เริ่มต้นด้วย node.js หรือ next.js »

หย่อน | เอกสาร | เว็บไซต์

- ใหม่ : การประชุมเชิงความหมายของเราตอนนี้เป็นส่วนหนึ่งของ OpentElemetry! เข้าร่วมการสนทนาและช่วยเรากำหนดอนาคตของการสังเกต LLM

OpenllMetry-JS เป็นชุดของส่วนขยายที่สร้างขึ้นบน OpentElemetry ที่ให้ความสามารถในการสังเกตที่สมบูรณ์เหนือแอปพลิเคชัน LLM ของคุณ เนื่องจากใช้ opentelemetry ภายใต้ประทุนจึงสามารถเชื่อมต่อกับโซลูชันการสังเกตที่มีอยู่ของคุณ - Datadog, Honeycomb และอื่น ๆ

มันถูกสร้างและดูแลโดย Traceloop ภายใต้ใบอนุญาต Apache 2.0

repo มีเครื่องมือ opentelemetry มาตรฐานสำหรับผู้ให้บริการ LLM และ DBS เวกเตอร์รวมถึง traceloop SDK ที่ทำให้ง่ายต่อการเริ่มต้นด้วย OpenllMetry-JS ในขณะที่ยังคงส่งข้อมูล OpentElemetry มาตรฐานที่สามารถเชื่อมต่อกับการสังเกต หากคุณมีเครื่องมือ OpentElemetry อยู่แล้วคุณสามารถเพิ่มเครื่องมือใด ๆ ของเราได้โดยตรง

เริ่มต้น

วิธีที่ง่ายที่สุดในการเริ่มต้นคือใช้ SDK ของเรา สำหรับคำแนะนำที่สมบูรณ์ไปที่เอกสารของเรา

ติดตั้ง SDK:

npm install --save @traceloop/node-server-sdk

จากนั้นในการเริ่มเครื่องมือของคุณเพียงเพิ่ม 2 บรรทัดเหล่านี้ลงในรหัสของคุณ:

 import * as traceloop from "@traceloop/node-server-sdk" ;

traceloop . initialize ( ) ;

ตรวจสอบให้แน่ใจว่าได้ import SDK ก่อนนำเข้าโมดูล LLM ใด ๆ

แค่นั้นแค่นั้น ตอนนี้คุณกำลังติดตามรหัสของคุณด้วย openllmetry-js! หากคุณใช้งานนี้ในพื้นที่คุณอาจต้องการปิดใช้งานการส่งแบทช์เพื่อให้คุณสามารถดูร่องรอยได้ทันที:

 traceloop . initialize ( { disableBatch : true } ) ;

ตอนนี้คุณต้องตัดสินใจว่าจะส่งออกร่องรอยไปที่ใด

ปลายทางที่ได้รับการสนับสนุน (และทดสอบ)

• ✅ traceloop
• ✅ Dynatrace
• ✅ datadog
• ✅ Relic ใหม่
• ✅รังผึ้ง
• ✅ Grafana Tempo
• ✅ hyperdx
• ✅ signoz
• ✅ Splunk
• ✅ opentelemetry collector

ดูเอกสารของเราสำหรับคำแนะนำเกี่ยวกับการเชื่อมต่อกับแต่ละเอกสาร

- เราเครื่องมืออะไร?

OpenllMetry -JS สามารถใช้เครื่องมือทุกอย่างที่ OpentElemetry เครื่องมืออยู่แล้ว - ดังนั้นสิ่งต่าง ๆ เช่น DB ของคุณการโทร API และอื่น ๆ ยิ่งไปกว่านั้นเราได้สร้างชุดส่วนขยายที่กำหนดเองซึ่งเป็นเครื่องมือเช่นการโทรของคุณไปยัง OpenAI หรือมานุษยวิทยาหรือ DB เวกเตอร์ของคุณเช่น Pinecone, Chroma หรือ Weaviate

ผู้ให้บริการ LLM

• ✅ Openai
• ✅ Azure Openai
• ✅มานุษยวิทยา
• ✅ Cohere
• ⏳ทำซ้ำ
• ⏳ HuggingFace
• ✅ Vertex AI (GCP)
• ✅ข้อเท็จจริง (AWS)

DBS เวกเตอร์

• ✅ pinecone
• ✅ chroma
• ✅ qdrant
• ⏳ Weaviate
• ⏳ Milvus

เฟรมเวิร์ก

• ✅ langchain
• ✅ llamaidex

- การบริจาค

ไม่ว่าจะเล็กหรือใหญ่เราชอบการมีส่วนร่วม❤ตรวจสอบคำแนะนำของเราเพื่อดูวิธีเริ่มต้น

ไม่แน่ใจว่าจะเริ่มต้นที่ไหน? คุณสามารถ:

• จองเซสชั่นการจับคู่ฟรีกับหนึ่งในเพื่อนร่วมทีมของเรา!
• เข้าร่วมหย่อนของเราและถามคำถามใด ๆ ที่นั่น

ชุมชนและการสนับสนุน

• Slack (สำหรับการสนทนาสดกับชุมชนและทีม Traceloop)
• การอภิปรายของ GitHub (สำหรับความช่วยเหลือในการสร้างและการสนทนาที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับคุณสมบัติ)
• ปัญหา GitHub (สำหรับข้อบกพร่องและข้อผิดพลาดใด ๆ ที่คุณพบโดยใช้ openllmetry)
• Twitter (รับข่าวเร็ว)