openlit ดาวน์โหลด - openlit รหัสโอเพ่นซอร์ส

openlit

ซอร์สโค้ดอื่น ๆ

py-1.32.5

ดาวน์โหลด

ความสามารถในการสังเกต, การประเมิน, รั้ว, พรอมต์, ห้องนิรภัย, สนามเด็กเล่น

แพลตฟอร์มโอเพ่นซอร์สสำหรับวิศวกรรม AI

เอกสาร Quickstart | Python SDK | TypeScript SDK |

ROADMAP คำขอคุณสมบัติ | รายงานข้อผิดพลาด

demo.mp4

OpenLit ช่วยให้คุณสามารถทำให้เวิร์กโฟลว์การพัฒนา AI ของคุณง่ายขึ้นโดยเฉพาะอย่างยิ่งสำหรับ AI และ LLM แบบกำเนิด มันปรับปรุงงานที่จำเป็นเช่นการทดลองกับ LLMS การจัดระเบียบและการกำหนดเวอร์ชันและการจัดการคีย์ API อย่างปลอดภัย ด้วยรหัสเพียงบรรทัดเดียวคุณสามารถเปิดใช้งานการสังเกต opentelemetry-Native โดยเสนอการตรวจสอบแบบเต็มสแต็กซึ่งรวมถึง LLMS ฐานข้อมูลเวกเตอร์และ GPU สิ่งนี้ช่วยให้นักพัฒนาสามารถสร้างคุณสมบัติและแอพพลิเคชั่น AI ได้อย่างมั่นใจในการเปลี่ยนจากการทดสอบเป็นการผลิตอย่างราบรื่น

โครงการนี้มีความภาคภูมิใจในการติดตามและรักษาอนุสัญญาความหมายกับชุมชน opentelemetry ปรับปรุงอย่างต่อเนื่องเพื่อให้สอดคล้องกับมาตรฐานล่าสุดในการสังเกต

⚡คุณสมบัติ

แบนเนอร์ Openlit

- Dashboard Analytics : ตรวจสอบสุขภาพและประสิทธิภาพของแอปพลิเคชัน AI ของคุณด้วยแดชบอร์ดโดยละเอียดที่ติดตามตัวชี้วัดค่าใช้จ่ายและการโต้ตอบของผู้ใช้ให้มุมมองที่ชัดเจนเกี่ยวกับประสิทธิภาพโดยรวม
- Opentelemetry-Native การสังเกต SDKS : SDKs ผู้ขายที่เป็นกลางเพื่อส่งร่องรอยและตัวชี้วัดไปยังเครื่องมือการสังเกตที่มีอยู่ของคุณ
- การติดตามค่าใช้จ่ายสำหรับรุ่นที่กำหนดเองและปรับแต่งได้ : การประมาณค่าใช้จ่ายในการปรับแต่งสำหรับรุ่นเฉพาะโดยใช้ไฟล์กำหนดราคาที่กำหนดเองสำหรับการจัดทำงบประมาณที่แม่นยำ
- ข้อยกเว้นการตรวจสอบแดชบอร์ด : พบปัญหาและแก้ไขปัญหาได้อย่างรวดเร็วโดยการติดตามข้อยกเว้นและข้อผิดพลาดทั่วไปด้วยแดชบอร์ดตรวจสอบโดยเฉพาะ
- การจัดการพรอมต์ : การจัดการและเวอร์ชันพร้อมท์โดยใช้ Prompt Hub เพื่อการเข้าถึงที่สอดคล้องและง่ายดายในแอปพลิเคชัน
- API Keys and Secrets Management : จัดการคีย์ API และความลับของคุณอย่างปลอดภัยจากส่วนกลางหลีกเลี่ยงการปฏิบัติที่ไม่ปลอดภัย
- ประสบการณ์ด้วย LLM ที่แตกต่างกัน : ใช้ OpenGround เพื่อสำรวจทดสอบและเปรียบเทียบ LLMS ต่าง ๆ เคียงข้างกัน

เริ่มต้นด้วยการสังเกต LLM

 ผังงานวัณโรค;
    subgraph ""
        ทิศทาง LR;
        subgraph ""
            ทิศทาง LR;
            OpenLit_SDK [OpenLit SDK] -> | ส่งร่องรอยและตัวชี้วัด | OTC [OpentElemetry Collector];
            OTC -> | เก็บข้อมูล | ClickhousedB [Clickhouse];
        จบ
        subgraph ""
            ทิศทาง RL;
            OpenLit_UI [OpenLit] -> | ดึงข้อมูล | ClickhousedB;
        จบ
    จบ

ขั้นตอนที่ 1: ปรับใช้ OpenLit Stack

Git Clone OpenLit repository
เปิดบรรทัดคำสั่งหรือเทอร์มินัลของคุณแล้วเรียกใช้:
```
git clone [email protected]:openlit/openlit.git
```
โฮสต์ตัวเองโดยใช้นักเทียบท่า
ปรับใช้และเรียกใช้ OpenLIT ด้วยคำสั่งต่อไปนี้:
```
docker compose up -d
```

สำหรับคำแนะนำเกี่ยวกับการติดตั้งใน Kubernetes โดยใช้ Helm โปรดดูที่คู่มือการติดตั้ง Kubernetes Helm

ขั้นตอนที่ 2: ติดตั้ง OpenLit SDK

เปิดบรรทัดคำสั่งหรือเทอร์มินัลของคุณแล้วเรียกใช้:

pip install openlit

สำหรับคำแนะนำเกี่ยวกับการใช้ TypeScript SDK โปรดไปที่คู่มือการติดตั้ง TypeScript SDK

ขั้นตอนที่ 3: เริ่มต้น OpenLit ในแอปพลิเคชันของคุณ

รวม OpenLit เข้ากับแอปพลิเคชัน AI ของคุณโดยเพิ่มบรรทัดต่อไปนี้ลงในรหัสของคุณ

 import openlit

openlit . init ()

กำหนดค่าปลายทางข้อมูล telemetry ดังนี้:

วัตถุประสงค์	ตัวแปรพารามิเตอร์/สภาพแวดล้อม	สำหรับการส่งไปยัง openlit
ส่งข้อมูลไปยังจุดสิ้นสุด HTTP OTLP	`otlp_endpoint` หรือ `OTEL_EXPORTER_OTLP_ENDPOINT`	`"http://127.0.0.1:4318"`
รับรองความถูกต้องของ telemetry backends	`otlp_headers` หรือ `OTEL_EXPORTER_OTLP_HEADERS`	ไม่จำเป็นต้องใช้ตามค่าเริ่มต้น

ข้อมูล: หากไม่มีการจัดเตรียม otlp_endpoint หรือ OTEL_EXPORTER_OTLP_ENDPOINT , OpenLit SDK จะส่งออกร่องรอยโดยตรงไปยังคอนโซลของคุณซึ่งแนะนำในระหว่างขั้นตอนการพัฒนา

ตัวอย่าง

เริ่มต้นโดยใช้อาร์กิวเมนต์ฟังก์ชั่น

เพิ่มสองบรรทัดต่อไปนี้ในรหัสแอปพลิเคชันของคุณ:

 import openlit

openlit . init (
  otlp_endpoint = "http://127.0.0.1:4318" , 
)

เริ่มต้นโดยใช้ตัวแปรสภาพแวดล้อม

เพิ่มสองบรรทัดต่อไปนี้ในรหัสแอปพลิเคชันของคุณ:

 import openlit

openlit . init ()

จากนั้นกำหนดค่าจุดสิ้นสุด OTLP ของคุณโดยใช้ตัวแปรสภาพแวดล้อม:

 export OTEL_EXPORTER_OTLP_ENDPOINT = " http://127.0.0.1:4318 "

ขั้นตอนที่ 4: แสดงภาพและปรับให้เหมาะสม!

ด้วยข้อมูลการสังเกตการณ์ที่ถูกรวบรวมและส่งไปยัง OpenLIT ขั้นตอนต่อไปคือการมองเห็นและวิเคราะห์ข้อมูลนี้เพื่อรับข้อมูลเชิงลึกเกี่ยวกับประสิทธิภาพการทำงานของแอปพลิเคชัน AI ของคุณและระบุพื้นที่ของการปรับปรุง

เพียงแค่ตรงไปที่ OpenLit ที่ 127.0.0.1:3000 บนเบราว์เซอร์ของคุณเพื่อเริ่มสำรวจ คุณสามารถเข้าสู่ระบบโดยใช้ข้อมูลรับรองเริ่มต้น

อีเมล : [email protected]
รหัสผ่าน : openlituser

️แผนงาน

เราทุ่มเทเพื่อปรับปรุง OpenLit อย่างต่อเนื่อง นี่คือการดูว่าสิ่งที่ประสบความสำเร็จและสิ่งที่อยู่บนขอบฟ้า:

คุณสมบัติ	สถานะ
Opentelemetry-Native Abservingability SDK สำหรับการติดตามและตัวชี้วัด	✅เสร็จสิ้น
การตรวจสอบ GPU ของ Opentelemetry-Natial	✅เสร็จสิ้น
ข้อยกเว้นและการตรวจสอบข้อผิดพลาด	✅เสร็จสิ้น
Prompt Hub สำหรับการจัดการและการกำหนดเวอร์ชัน	✅เสร็จสิ้น
OpenGround สำหรับการทดสอบและเปรียบเทียบ LLMS	✅เสร็จสิ้น
Vault สำหรับการจัดการส่วนกลางของคีย์และความลับ LLM API	✅เสร็จสิ้น
การติดตามค่าใช้จ่ายสำหรับรุ่นที่กำหนดเอง	✅เสร็จสิ้น
การดำเนินการตามเวลาเรียลไทม์	✅เสร็จสิ้น
การประเมินผลโปรแกรมสำหรับการตอบสนอง LLM	✅เสร็จสิ้น
ตัวชี้วัดการประเมินค่าอัตโนมัติตามการใช้งาน	เร็วๆ นี้
ข้อเสนอแนะของมนุษย์สำหรับเหตุการณ์ LLM	เร็วๆ นี้
การสร้างชุดข้อมูลตามเหตุการณ์ LLM	เร็วๆ นี้
ค้นหาร่องรอย	เร็วๆ นี้