UniLLM

O UNILLM permite que você ligue para qualquer LLM usando a API OpenAI, com segurança de 100%.

Benefícios

• Integrar -se a qualquer provedor e modelo usando a API OpenAI
• Respostas e logs consistentes de conclusão de chatconioning em todos os modelos e provedores
• ? Digite a segurança em todos os provedores e modelos
• ? Alterne perfeitamente entre os LLMs sem reescrever sua base de código
• ✅ Se você escrever testes para o seu serviço, você só precisará testá -lo uma vez
• (Em breve) solicitar cache e limitação de taxa
• (Em breve) monitoramento e alerta de custos

Uso

Verifique nossa documentação interativa

Conclusões do chat

Com o UNILLM, você pode usar as conclusões do bate -papo, mesmo para fornecedores/modelos que não o suportam nativamente (por exemplo, antropia).

npm i unillm

 import { UniLLM } from 'unillm' ;

const unillm = new UniLLM ( ) ;

// OpenAI
const response = await unillm . createChatCompletion ( "openai/gpt-3.5-turbo" , { messages : ... } ) ;
const response = await unillm . createChatCompletion ( "openai/gpt-4" , { messages : ... } ) ;

// Anthropic
const response = await unillm . createChatCompletion ( "anthropic/claude-2" , { messages : ... } ) ;
const response = await unillm . createChatCompletion ( "anthropic/claude-1-instant" , { messages : ... } ) ;

// Azure OpenAI
const response = await unillm . createChatCompletion ( "azure/openai/<deployment-name>" , { messages : ... } ) ;

// More coming soon!

Quer ver mais exemplos? Confira os documentos interativos .

⚡️ Streaming

Para ativar o streaming, basta fornecer stream: true no objeto Opções. Aqui está um exemplo:

 const response = await unillm . createChatCompletion ( "openai/gpt-3.5-turbo" , {
  messages : ... ,
  stream : true
} ) ;

Quer ver mais exemplos? Confira os documentos interativos .

Contribuindo

Congratulamo -nos com contribuições da comunidade! Sinta -se à vontade para enviar solicitações de puxar ou criar problemas para bugs ou sugestões de recursos.

Se você deseja contribuir, mas não tenho certeza de como, junte -se à nossa discórdia e ficaremos felizes em ajudá -lo!

Confira contribuindo.md antes de contribuir.

Licença

O código -fonte deste repositório está disponível no MIT.