UniLLM

Unillm vous permet d'appeler n'importe quel LLM à l'aide de l'API OpenAI, avec une sécurité de type 100%.

Avantages

• Intégrez à n'importe quel fournisseur et modèle à l'aide de l'API OpenAI
• Réponses et journaux cohérents de ChatCompletion sur tous les modèles et fournisseurs
• ? Type de sécurité dans tous les fournisseurs et modèles
• ? Basculer de manière transparente entre LLMS sans réécrire votre base de code
• ✅ Si vous écrivez des tests pour votre service, vous n'avez besoin de le tester qu'une seule fois
• (À venir bientôt) demander la mise en cache et la limitation des taux
• (À venir bientôt) surveillance des coûts et alerte

Usage

Vérifiez notre documentation interactive

Complétion de chat

Avec unillm, vous pouvez utiliser les compléments de chat même pour les fournisseurs / modèles qui ne le soutiennent pas nativement (par exemple anthropique).

npm i unillm

 import { UniLLM } from 'unillm' ;

const unillm = new UniLLM ( ) ;

// OpenAI
const response = await unillm . createChatCompletion ( "openai/gpt-3.5-turbo" , { messages : ... } ) ;
const response = await unillm . createChatCompletion ( "openai/gpt-4" , { messages : ... } ) ;

// Anthropic
const response = await unillm . createChatCompletion ( "anthropic/claude-2" , { messages : ... } ) ;
const response = await unillm . createChatCompletion ( "anthropic/claude-1-instant" , { messages : ... } ) ;

// Azure OpenAI
const response = await unillm . createChatCompletion ( "azure/openai/<deployment-name>" , { messages : ... } ) ;

// More coming soon!

Vous voulez voir plus d'exemples? Découvrez les documents interactifs .

⚡️ Streaming

Pour activer le streaming, fournissez simplement stream: true dans l'objet Options. Voici un exemple:

 const response = await unillm . createChatCompletion ( "openai/gpt-3.5-turbo" , {
  messages : ... ,
  stream : true
} ) ;

Vous voulez voir plus d'exemples? Découvrez les documents interactifs .

Contributif

Nous accueillons les contributions de la communauté! N'hésitez pas à soumettre des demandes de traction ou à créer des problèmes pour les bogues ou les suggestions de fonctionnalités.

Si vous voulez contribuer mais que vous ne savez pas comment, rejoignez notre discorde et nous serons heureux de vous aider!

Veuillez consulter contribution.md avant de contribuer.

Licence

Le code source de ce référentiel est disponible sous le MIT.