UniLLM

Mit Unillm können Sie alle LLM mit der OpenAI -API mit einer Sicherheit von 100% anrufen.

Vorteile

• Integrieren Sie sich mit jedem Anbieter und Modell mit der OpenAI -API
• Konsistente ChatCompletion -Antworten und -protokolle in allen Modellen und Anbietern
• ? Geben Sie die Sicherheit in allen Anbietern und Modellen ein
• ? Wechseln Sie nahtlos zwischen LLMs, ohne Ihre Codebasis neu zu schreiben
• ✅ Wenn Sie Tests für Ihren Service schreiben, müssen Sie sie nur einmal testen
• (Bald kommen) Fordern Sie das Caching und die Ratenbegrenzung an
• (Bald kommen) Kostenüberwachung und Alarmierung

Verwendung

Überprüfen Sie unsere interaktive Dokumentation

Chat -Abschluss

Mit Unillm können Sie auch für Anbieter/Modelle, die es nicht unterstützen (z. B. anthropisch), Chat -Abschlüsse verwenden.

npm i unillm

 import { UniLLM } from 'unillm' ;

const unillm = new UniLLM ( ) ;

// OpenAI
const response = await unillm . createChatCompletion ( "openai/gpt-3.5-turbo" , { messages : ... } ) ;
const response = await unillm . createChatCompletion ( "openai/gpt-4" , { messages : ... } ) ;

// Anthropic
const response = await unillm . createChatCompletion ( "anthropic/claude-2" , { messages : ... } ) ;
const response = await unillm . createChatCompletion ( "anthropic/claude-1-instant" , { messages : ... } ) ;

// Azure OpenAI
const response = await unillm . createChatCompletion ( "azure/openai/<deployment-name>" , { messages : ... } ) ;

// More coming soon!

Möchten Sie weitere Beispiele sehen? Schauen Sie sich die interaktiven Dokumente an.

⚡️ Streaming

Um das Streaming zu aktivieren, geben Sie einfach stream: true im Optionsobjekt an. Hier ist ein Beispiel:

 const response = await unillm . createChatCompletion ( "openai/gpt-3.5-turbo" , {
  messages : ... ,
  stream : true
} ) ;

Möchten Sie weitere Beispiele sehen? Schauen Sie sich die interaktiven Dokumente an.

Beitragen

Wir begrüßen Beiträge aus der Community! Bitte zögern Sie nicht, Pull -Anfragen zu senden oder Probleme für Fehler oder Feature -Vorschläge zu erstellen.

Wenn Sie einen Beitrag leisten möchten, aber nicht sicher sind, schließen Sie sich unserer Zwietracht bei und wir helfen Ihnen gerne weiter!

Bitte lesen Sie den Beitrag zum Beitrag zum Beitrag zur Verfügung.

Lizenz

Der Quellcode dieses Repositorys ist unter dem MIT verfügbar.