aimon python sdk

? Selamat datang di Aimon

AIMON membantu pengembang membangun, mengirim, dan memantau aplikasi LLM lebih percaya diri dan andal dengan sistem multi-model yang canggih untuk mendeteksi masalah kualitas LLM. Ini membantu mulus dengan evaluasi offline dan pemantauan produksi berkelanjutan. AIMON menawarkan deteksi halusinasi yang cepat, andal, dan hemat biaya. Ini juga mendukung metrik kualitas penting lainnya seperti kelengkapan, keringkasan, dan toksisitas. Baca posting blog kami untuk lebih jelasnya.

Bergabunglah dengan komunitas kami di Slack

Metrik didukung

Berikut ini adalah daftar metrik berkualitas yang saat ini tersedia dan di peta jalan kami. Harap hubungi untuk mengungkapkan minat Anda pada semua ini.

Metrik	Status
Model halusinasi (level bagian dan kalimat)	✓
Kelengkapan	✓
Keringkasan yg padat isinya	✓
Toksisitas	✓
Kepatuhan instruksi	✓

Memulai

AIMON mendukung instrumentasi asinkron atau deteksi sinkron untuk metrik yang disebutkan di atas. Gunakan langkah -langkah ini untuk memulai dengan menggunakan AIMON SDK dan produk.

• Langkah 1: Dapatkan akses ke produk beta dengan bergabung dengan daftar tunggu di situs web kami atau dengan memintanya di Slack atau mengirim email ke [email protected]
• Langkah 2: Pasang AIMON SDK dengan menjalankan pip install aimon di terminal Anda.
• Langkah 3: Berikut adalah contoh untuk instrumen aplikasi LLM secara serempak menggunakan Aimon Decorator:

 from aimon import Detect

detect = Detect ( values_returned = [ 'context' , 'generated_text' ], config = { "hallucination" : { "detector_name" : "default" }})

@ detect
def my_llm_app ( context , query ):
    # my_llm_model is the function that generates text using the LLM model
    generated_text = my_llm_model ( context , query )
    return context , generated_text

• Langkah 4: Sebagai contoh tentang cara instrumen aplikasi LLM secara tidak sinkron menggunakan SDK, silakan merujuk dekorator analyze_prod .
• Langkah 5: Untuk contoh deteksi sinkron menggunakan SDK, silakan merujuk ke aplikasi sampel streamlit

Tolok ukur

Deteksi halusinasi

Untuk menunjukkan efektivitas sistem kami, kami membandingkannya terhadap tolok ukur industri populer untuk tugas deteksi halusinasi. Tabel di bawah ini menunjukkan hasil kami.

Beberapa takeaways kunci:

✅ Aimon 10x lebih murah daripada GPT-4 Turbo.

✅ Aimon 4x lebih cepat dari GPT-4 Turbo.

✅ AIMON memberikan kenyamanan API yang sepenuhnya di-host yang mencakup kemampuan dijelaskan.

✅ Dukungan untuk panjang konteks hingga 32.000 token (dengan rencana untuk memperluas ini dalam waktu dekat).

Secara keseluruhan, AIMON 10 kali lebih murah, 4 kali lebih cepat, dan dekat atau bahkan lebih baik daripada GPT-4 pada tolok ukur menjadikannya pilihan yang cocok untuk deteksi halusinasi offline dan online.

Metrik	AIMON mengandalkan V1	GPT-4 Turbo (llm-as-a-judge)
Panjang konteks	32.000	128.000
Dataset True Precision/Recall	0.808 / 0.922	0.810 / 0.926
Summac (tes) akurasi seimbang	0.778	0.756
Summac (tes) AUC	0.809	0.780
Tes peringkat anyScale untuk akurasi halusinasi	0.665	0.741
Tes Peringkat AnyScale untuk Halusinasi Rel. Ketepatan	0.804	0.855
Rata -rata. Latensi	417ms	1800ms
Biaya (15 juta token di semua dataset benchmark) tidak termasuk tingkat gratis	$ 15	$ 158
Sepenuhnya di -host	✅	✅
Kemampuan dijelaskan	Skor tingkat kalimat otomatis	Alasan terperinci dengan rekayasa cepat tambahan

Tolok ukur pada detektor lain

Ada kekurangan kumpulan data tolok ukur standar industri untuk metrik ini. Kami akan segera menerbitkan dataset evaluasi. Pantau terus! ⌛

Harga

Lihat situs web AIMON.AI untuk detailnya.

Masyarakat

Bergabunglah dengan komunitas Slack kami untuk pembaruan dan diskusi terbaru tentang keandalan AI generatif.