UniLLM

Unillm le permite llamar a cualquier LLM utilizando la API de OpenAI, con seguridad del 100%.

Beneficios

• Integrarse con cualquier proveedor y modelo utilizando la API de OpenAI
• Respuestas y registros consistentes de CHATCompletion en todos los modelos y proveedores
• ? Tipo de seguridad en todos los proveedores y modelos
• ? Cambie sin problemas entre LLM sin reescribir su base de código
• ✅ Si escribe pruebas para su servicio, solo necesita probarlo una vez
• (Próximamente) Solicite almacenamiento en caché y limitación de tarifas
• (Próximamente) Monitoreo de costos y alertas

Uso

Consulte nuestra documentación interactiva

Finalización de chat

Con Unillm, puede usar completaciones de chat incluso para proveedores/modelos que no lo admiten de forma nativa (por ejemplo, antrópico).

npm i unillm

 import { UniLLM } from 'unillm' ;

const unillm = new UniLLM ( ) ;

// OpenAI
const response = await unillm . createChatCompletion ( "openai/gpt-3.5-turbo" , { messages : ... } ) ;
const response = await unillm . createChatCompletion ( "openai/gpt-4" , { messages : ... } ) ;

// Anthropic
const response = await unillm . createChatCompletion ( "anthropic/claude-2" , { messages : ... } ) ;
const response = await unillm . createChatCompletion ( "anthropic/claude-1-instant" , { messages : ... } ) ;

// Azure OpenAI
const response = await unillm . createChatCompletion ( "azure/openai/<deployment-name>" , { messages : ... } ) ;

// More coming soon!

¿Quieres ver más ejemplos? Mira los documentos interactivos .

⚡️ Streaming

Para habilitar la transmisión, simplemente proporcione stream: true en el objeto Opciones. Aquí hay un ejemplo:

 const response = await unillm . createChatCompletion ( "openai/gpt-3.5-turbo" , {
  messages : ... ,
  stream : true
} ) ;

¿Quieres ver más ejemplos? Mira los documentos interactivos .

Que contribuye

¡Agradecemos las contribuciones de la comunidad! No dude en enviar solicitudes de extracción o crear problemas para errores o sugerencias de características.

Si desea contribuir, pero no está seguro de cómo, únase a nuestra discordia y estaremos encantados de ayudarlo.

Echa un vistazo a contribuir.md antes de contribuir.

Licencia

El código fuente de este repositorio está disponible en el MIT.