langkit

Langkit

Langkit adalah toolkit metrik teks open-source untuk memantau model bahasa. Ini menawarkan serangkaian metode untuk mengekstraksi sinyal yang relevan dari teks input dan/atau output, yang kompatibel dengan whylog pustaka logging data sumber terbuka.

Ingin mengalami Langkit? Buka buku catatan ini!

Daftar isi

• Motivasi
• Fitur
• Instalasi
• Penggunaan
• Modul

Motivasi

Model bahasa yang memproduksi, termasuk LLM, hadir dengan berbagai risiko karena jumlah kombinasi input yang tak terbatas, yang dapat memperoleh jumlah output yang tak terbatas. Sifat teks yang tidak terstruktur menimbulkan tantangan dalam ruang observabilitas ML - tantangan yang layak dipecahkan, karena kurangnya visibilitas pada perilaku model dapat memiliki konsekuensi serius.

Fitur

Metrik di luar kotak meliputi:

• Kualitas teks
  • skor keterbacaan
  • kompleksitas dan skor kelas
• Relevansi teks
  • Skor kesamaan antara prompt/responses
  • Skor kesamaan dengan tema yang ditentukan pengguna
• Keamanan dan privasi
  • Pola - Hitungan string yang cocok dengan grup pola regex yang ditentukan pengguna
  • Jailbreaks - Skor Kesamaan sehubungan dengan upaya jailbreak yang diketahui
  • Injeksi cepat - skor kesamaan sehubungan dengan serangan injeksi cepat yang diketahui
  • Halusinasi - Pemeriksaan Konsistensi Antara Respons
  • Penolakan - Skor Kesamaan Sehubungan dengan Penolakan LLM yang Diketahui terhadap Respons Layanan
• Sentimen dan toksisitas
  • analisis sentimen
  • analisis toksisitas

Instalasi

Untuk menginstal Langkit, gunakan Indeks Paket Python (PYPI) sebagai berikut:

 pip install langkit[all]

Penggunaan

Modul Langkit berisi UDF yang secara otomatis mengawat ke dalam kumpulan UDF pada fitur string yang disediakan oleh Whylogs secara default. Yang harus kita lakukan adalah mengimpor modul Langkit dan kemudian instantiate skema khusus seperti yang ditunjukkan pada contoh di bawah ini.

 import whylogs as why
from langkit import llm_metrics

results = why . log ({ "prompt" : "Hello!" , "response" : "World!" }, schema = llm_metrics . init ())

Kode di atas akan menghasilkan satu set metrik yang terdiri dari metrik Whylogs default untuk fitur teks dan semua metrik yang ditentukan dalam modul yang diimpor. Profil ini dapat divisualisasikan dan dipantau dalam platform WhyLabs atau mereka dapat dianalisis lebih lanjut oleh pengguna atas kemauan mereka sendiri.

Lebih banyak contoh tersedia di sini.

Modul?

Anda dapat memiliki informasi lebih lanjut tentang berbagai modul dan metrik mereka di sini.

Tolok ukur

Jenis instance AWS	Modul metrik	Throughput
c5.xlarge	Metrik cahaya	2335 obrolan/detik
	Metrik llm	8.2 obrolan/detik
	Semua metrik	0,28 obrolan/detik
g4dn.xlarge	Metrik cahaya	2492 obrolan/detik
	Metrik llm	23.3 Obrolan/Sec
	Semua metrik	1.79 obrolan/detik

Pertanyaan yang sering diajukan

Anda dapat memeriksa beberapa pertanyaan yang sering diajukan di bagian FAQ kami