langfuse

Langfuse: แพลตฟอร์มวิศวกรรมโอเพนซอร์ส LLM

การสังเกต LLM, การจัดการที่รวดเร็ว, การประเมิน LLM,
ชุดข้อมูลตัวชี้วัด LLM และสนามเด็กเล่นที่รวดเร็ว

ลงทะเบียน · โฮสต์ตนเอง · การสาธิต (ข้อมูลสด)

เอกสาร · รายงานข้อผิดพลาด · คำขอคุณสมบัติ · Changelog · Roadmap · Discord

Langfuse ใช้ การอภิปราย GitHub เพื่อการสนับสนุนและคำขอคุณสมบัติ
เรากำลังจ้าง เข้าร่วมกับเรา ในด้านวิศวกรรมผลิตภัณฑ์และความสัมพันธ์กับนักพัฒนา

ภาพรวม Langfuse

เปิดออกวิดีโอสำหรับการพากย์เสียง

langfuse-overview-3min.mp4

พัฒนา

• การสังเกต LLM: เครื่องมือแอพของคุณและเริ่มการร่องรอยของ Langfuse (QuickStart, การติดตามการรวม)
• Langfuse UI: ตรวจสอบและดีบักบันทึกที่ซับซ้อน (ตัวอย่างการติดตาม)
• การจัดการที่รวดเร็ว: จัดการเวอร์ชันและการปรับใช้พรอมต์จากภายใน Langfuse (การจัดการที่รวดเร็ว)
• วิศวกรรมที่รวดเร็ว: ทดสอบและวนซ้ำตามพรอมต์ของคุณด้วยสนามเด็กเล่น LLM

เฝ้าสังเกต

• LLM Analytics: ติดตามตัวชี้วัด (ต้นทุน, เวลาแฝง, คุณภาพ) และรับข้อมูลเชิงลึกจากแดชบอร์ดและการส่งออกข้อมูล (การวิเคราะห์)
• การประเมิน LLM: รวบรวมและคำนวณคะแนนสำหรับความสำเร็จ LLM ของคุณ (คะแนนและการประเมินผล)
  • เรียกใช้ (การประเมินแบบจำลองตามแบบจำลอง) และ LLM-AS-A-Judge ภายใน Langfuse
  • รวบรวมคำติชมของผู้ใช้ (ความคิดเห็นของผู้ใช้)
  • คะแนน LLM ด้วยตนเองใน Langfuse (คะแนนด้วยตนเอง)

ทดสอบ

• การทดลอง: ติดตามและทดสอบพฤติกรรมแอพก่อนที่จะปรับใช้เวอร์ชันใหม่
  • ชุดข้อมูลช่วยให้คุณทดสอบคู่ที่คาดหวังทั้งในและเอาต์พุตและประสิทธิภาพการวัดประสิทธิภาพก่อนที่จะปรับใช้ (ชุดข้อมูล)
  • ติดตามเวอร์ชันและเผยแพร่ในแอปพลิเคชันของคุณ (การทดลองการจัดการที่รวดเร็ว)

เริ่มต้นใช้งาน

Langfuse Cloud

การปรับใช้ที่ได้รับการจัดการโดยทีม Langfuse, Free-Tier (แผนงานอดิเรก) ไม่จำเป็นต้องใช้บัตรเครดิต

» Langfuse Cloud

ความสามารถในการสังเกตการณ์โอเพนซอร์สที่โฮสต์ด้วยตนเองด้วย Langfuse

LocalHost (Docker)

 # Clone repository
git clone https://github.com/langfuse/langfuse.git
cd langfuse

# Run server and database
docker compose up -d

→เรียนรู้เพิ่มเติมเกี่ยวกับการปรับใช้ในพื้นที่

โฮสต์ตัวเอง (นักเทียบท่า)

Langfuse นั้นง่ายต่อการเป็นเจ้าภาพและอัปเดตต่อไป ปัจจุบันต้องการเพียงคอนเทนเนอร์ Docker เดียวและฐานข้อมูล Postgres →คำแนะนำการโฮสต์ตนเอง

การปรับใช้ templated: รถไฟ, GCP, AWS, Azure, Kubernetes และอื่น ๆ

เริ่มต้นใช้งาน

คีย์ API

คุณต้องมีกุญแจสาธารณะและคีย์ลับเพื่อเริ่มต้น ลงทะเบียนที่นี่และค้นหาพวกเขาในการตั้งค่าโครงการของคุณ

การกลืนข้อมูล·เครื่องมือแอปพลิเคชันของคุณ·การสังเกต llm ด้วย langfuse

หมายเหตุ: เราขอแนะนำให้ใช้ Async อย่างเต็มที่พิมพ์ SDK ที่ช่วยให้คุณสามารถใช้แอปพลิเคชัน LLM ใด ๆ ที่มีรูปแบบพื้นฐานใด ๆ พวกเขามีอยู่ใน Python (นักตกแต่ง) และ JS/TS SDKS จะเป็นวิธีที่โดดเด่นที่สุดและมั่นคงที่สุดในการนำข้อมูลเข้าไปใน Langfuse

ดู→ QuickStart เพื่อรวม Langfuse

การรวมการสังเกตการณ์ LLM

การรวมเข้าด้วยกัน	การสนับสนุน	คำอธิบาย
SDK	Python, JS/TS	เครื่องมือวัดด้วยตนเองโดยใช้ SDKs เพื่อความยืดหยุ่นอย่างเต็มที่
Openai	Python, JS/TS	เครื่องมือวัดอัตโนมัติโดยใช้ OpenAI SDK ทดแทน
คนขี้เกียจ	Python, JS/TS	เครื่องมือวัดอัตโนมัติโดยผ่านตัวจัดการการโทรกลับไปยังแอปพลิเคชัน Langchain
llamainedex	งูหลาม	เครื่องมือวัดอัตโนมัติผ่านระบบการโทรกลับ llamaindex
กองหญ้า	งูหลาม	เครื่องมือวัดอัตโนมัติผ่านระบบติดตามเนื้อหาของ Haystack
Litellm	Python, JS/TS (พร็อกซีเท่านั้น)	ใช้ LLM ใด ๆ เป็นการลดลงสำหรับ GPT ใช้ Azure, Openai, Coere, Anthropic, Ollama, VLLM, Sagemaker, HuggingFace, ทำซ้ำ (100+ LLM)
vercel ai sdk	JS/TS	TypeScript Toolkit ออกแบบมาเพื่อช่วยให้นักพัฒนาสร้างแอพพลิเคชั่น AI ที่ใช้ AI ด้วย React, Next.js, Vue, Svelte, Node.js.
API		เรียก API สาธารณะโดยตรง OpenAPI Spec พร้อมใช้งาน

แพ็คเกจที่รวมเข้ากับ Langfuse:

ชื่อ	คำอธิบาย
ผู้สอน	ห้องสมุดเพื่อรับเอาต์พุต LLM ที่มีโครงสร้าง (JSON, PYDANTIC)
แตกต่างกัน	แพลตฟอร์มการพัฒนาแอพโอเพนซอร์ส LLM พร้อมตัวสร้างรหัสที่ไม่มีรหัส
โอลลา	เรียกใช้ Open Source LLMs บนเครื่องของคุณเองได้อย่างง่ายดาย
สัตว์ประหลาด	Python Toolkit สำหรับการสร้างแอปพลิเคชัน LLM
ไหล	JS/TS No-Code Builder สำหรับการไหล LLM ที่กำหนดเอง
การไหลออก	UI ที่ใช้ Python สำหรับ Langchain ออกแบบด้วย React-Flow เพื่อให้วิธีการทดลองและการไหลของต้นแบบอย่างง่ายดาย

คำถามและข้อเสนอแนะ

แนวคิดและแผนงาน

• แผนงาน
• การอภิปรายของ GitHub
• คำขอคุณสมบัติ

สนับสนุนและข้อเสนอแนะ

ตามลำดับความชอบเป็นวิธีที่ดีที่สุดในการสื่อสารกับเรา:

• การอภิปราย GitHub (ที่ต้องการ): สนับสนุนแนวคิดการร้องขอการสนับสนุนและรายงานข้อบกพร่อง
• Discord: การสนับสนุนชุมชน
• ส่วนตัว: ติดต่อที่ Langfuse dot com

มีส่วนร่วมใน Langfuse

• โหวตความคิด
• เพิ่มและแสดงความคิดเห็นเกี่ยวกับปัญหา
• เปิดการประชาสัมพันธ์ - ดูที่ MD สำหรับรายละเอียดเกี่ยวกับวิธีการตั้งค่าสภาพแวดล้อมการพัฒนา

ใบอนุญาต

ที่เก็บนี้ได้รับใบอนุญาต MIT ยกเว้นโฟลเดอร์ ee ดูใบอนุญาตและเอกสารสำหรับรายละเอียดเพิ่มเติม

ผิด

รับ API เพื่อส่งออกข้อมูลของคุณ

รับเส้นทาง เพื่อใช้ข้อมูลในแอปพลิเคชันดาวน์สตรีม (เช่นการวิเคราะห์แบบฝังตัว) คุณยังสามารถเข้าถึงได้อย่างสะดวกผ่าน SDKS (เอกสาร)

ความปลอดภัยและความเป็นส่วนตัว

เราให้ความสำคัญกับข้อมูลและความเป็นส่วนตัวอย่างจริงจัง โปรดดูหน้าความปลอดภัยและความเป็นส่วนตัวของเราสำหรับข้อมูลเพิ่มเติม

telemetry

โดยค่าเริ่มต้น Langfuse จะรายงานสถิติการใช้งานพื้นฐานของอินสแตนซ์โฮสต์ด้วยตนเองโดยอัตโนมัติไปยังเซิร์ฟเวอร์ส่วนกลาง (posthog)

สิ่งนี้ช่วยให้เรา:

1. ทำความเข้าใจว่า Langfuse ใช้และปรับปรุงคุณสมบัติที่เกี่ยวข้องมากที่สุดอย่างไร
2. ติดตามการใช้งานโดยรวมสำหรับการรายงานภายในและภายนอก (เช่นการระดมทุน)

ไม่มีข้อมูลใดร่วมกับบุคคลที่สามและไม่รวมข้อมูลที่ละเอียดอ่อนใด ๆ เราต้องการที่จะโปร่งใสมากเกี่ยวกับเรื่องนี้และคุณสามารถค้นหาข้อมูลที่แน่นอนที่เรารวบรวมได้ที่นี่

คุณสามารถเลือกไม่ได้โดยการตั้ง TELEMETRY_ENABLED=false

ประวัติดาว