UniLLM

Unillm memungkinkan Anda untuk menghubungi LLM apa pun menggunakan API OpenAI, dengan keamanan jenis 100%.

Manfaat

• Integrasi dengan penyedia dan model apa pun menggunakan API OpenAI
• Respons dan log chats yang konsisten di semua model dan penyedia
• ? Ketik keamanan di semua penyedia dan model
• ? Beralih dengan mulus antara LLMS tanpa menulis ulang basis kode Anda
• ✅ Jika Anda menulis tes untuk layanan Anda, Anda hanya perlu mengujinya sekali
• (Segera hadir) Minta caching dan pembatasan tingkat
• (Segera hadir) Pemantauan dan Peringatan Biaya

Penggunaan

Periksa dokumentasi interaktif kami

Penyelesaian obrolan

Dengan Unillm, Anda dapat menggunakan penyelesaian obrolan bahkan untuk penyedia/model yang tidak mendukungnya secara alami (misalnya antropik).

npm i unillm

 import { UniLLM } from 'unillm' ;

const unillm = new UniLLM ( ) ;

// OpenAI
const response = await unillm . createChatCompletion ( "openai/gpt-3.5-turbo" , { messages : ... } ) ;
const response = await unillm . createChatCompletion ( "openai/gpt-4" , { messages : ... } ) ;

// Anthropic
const response = await unillm . createChatCompletion ( "anthropic/claude-2" , { messages : ... } ) ;
const response = await unillm . createChatCompletion ( "anthropic/claude-1-instant" , { messages : ... } ) ;

// Azure OpenAI
const response = await unillm . createChatCompletion ( "azure/openai/<deployment-name>" , { messages : ... } ) ;

// More coming soon!

Ingin melihat lebih banyak contoh? Lihat dokumen interaktif .

⚡️ Streaming

Untuk mengaktifkan streaming, cukup berikan stream: true di objek Opsi. Inilah contohnya:

 const response = await unillm . createChatCompletion ( "openai/gpt-3.5-turbo" , {
  messages : ... ,
  stream : true
} ) ;

Ingin melihat lebih banyak contoh? Lihat dokumen interaktif .

Berkontribusi

Kami menyambut kontribusi dari komunitas! Silakan mengirimkan permintaan tarik atau membuat masalah untuk bug atau saran fitur.

Jika Anda ingin berkontribusi tetapi tidak yakin bagaimana, bergabunglah dengan perselisihan kami dan kami akan dengan senang hati membantu Anda!

Silakan periksa Contributing.md sebelum berkontribusi.

Lisensi

Kode sumber repositori ini tersedia di bawah MIT.