langkit
v0.0.35
Langkit เป็นชุดเครื่องมือวัดข้อความโอเพนซอร์ซสำหรับการตรวจสอบรูปแบบภาษา มันมีอาร์เรย์ของวิธีการสำหรับการแยกสัญญาณที่เกี่ยวข้องจากอินพุตและ/หรือข้อความเอาต์พุตซึ่งเข้ากันได้กับไลบรารีการบันทึกข้อมูลโอเพนซอร์ซ
ต้องการสัมผัส Langkit หรือไม่? ไปที่สมุดบันทึกนี้!
การผลิตแบบจำลองภาษารวมถึง LLMS มาพร้อมกับความเสี่ยงที่หลากหลายเนื่องจากจำนวนการรวมอินพุตที่ไม่มีที่สิ้นสุดซึ่งอาจทำให้เกิดผลผลิตที่ไม่สิ้นสุด ลักษณะที่ไม่มีโครงสร้างของข้อความก่อให้เกิดความท้าทายในพื้นที่สังเกตการณ์ ML - ความท้าทายที่คุ้มค่าในการแก้ปัญหาเนื่องจากการขาดการมองเห็นพฤติกรรมของโมเดลอาจมีผลกระทบร้ายแรง
ตัวชี้วัดออกจากกล่องรวมถึง:
ในการติดตั้ง Langkit ให้ใช้ดัชนีแพ็คเกจ Python (PYPI) ดังนี้:
pip install langkit[all]
โมดูล Langkit มี UDFs ที่ส่งกระแสข้อมูลเข้าสู่คอลเลกชันของ UDFs บนคุณสมบัติสตริงโดยอัตโนมัติโดยค่าเริ่มต้น สิ่งที่เราต้องทำคือนำเข้าโมดูล Langkit จากนั้นสร้างอินสแตนซ์สคีมาแบบกำหนดเองดังแสดงในตัวอย่างด้านล่าง
import whylogs as why
from langkit import llm_metrics
results = why . log ({ "prompt" : "Hello!" , "response" : "World!" }, schema = llm_metrics . init ())รหัสด้านบนจะสร้างชุดของตัวชี้วัดที่ประกอบด้วยตัวชี้วัด Whylogs เริ่มต้นสำหรับคุณสมบัติข้อความและตัวชี้วัดทั้งหมดที่กำหนดไว้ในโมดูลที่นำเข้า โปรไฟล์นี้สามารถมองเห็นและตรวจสอบได้ในแพลตฟอร์ม Whylabs หรือพวกเขาสามารถวิเคราะห์เพิ่มเติมโดยผู้ใช้ตามความสอดคล้องของตนเอง
มีตัวอย่างเพิ่มเติมที่นี่
คุณสามารถมีข้อมูลเพิ่มเติมเกี่ยวกับโมดูลที่แตกต่างกันและตัวชี้วัดของพวกเขาที่นี่
| ประเภทอินสแตนซ์ AWS | โมดูลตัวชี้วัด | ปริมาณงาน |
|---|---|---|
| c5.xlarge | ตัวชี้วัดแสง | 2335 แชท/วินาที |
| ตัวชี้วัด LLM | 8.2 แชท/วินาที | |
| ตัวชี้วัดทั้งหมด | 0.28 แชท/วินาที | |
| g4dn.xlarge | ตัวชี้วัดแสง | 2492 แชท/วินาที |
| ตัวชี้วัด LLM | 23.3 แชท/วินาที | |
| ตัวชี้วัดทั้งหมด | 1.79 แชท/วินาที |
คุณสามารถตรวจสอบคำถามที่พบบ่อยในส่วนคำถามที่พบบ่อยของเรา
