UniLLM

UNILLM позволяет вам позвонить в любой LLM, используя API OpenAI, с безопасностью 100% типа.

Преимущества

• Интегрируйте с любым поставщиком и моделью, используя API OpenAI
• Последовательные ответы и журналы в чате для всех моделей и поставщиков
• ? Безопасность типа для всех поставщиков и моделей
• ? Бесполезно переключаться между LLMS без переписывания вашей кодовой базы
• ✅ Если вы пишете тесты для вашего сервиса, вам нужно проверить его только один раз
• (Скоро) запросить кэширование и ограничение ставок
• (Скоро) Мониторинг затрат и предупреждение

Использование

Проверьте нашу интерактивную документацию

Завершение чата

С UNILLM вы можете использовать завершение чата даже для поставщиков/моделей, которые не поддерживают его (например, антроп).

npm i unillm

 import { UniLLM } from 'unillm' ;

const unillm = new UniLLM ( ) ;

// OpenAI
const response = await unillm . createChatCompletion ( "openai/gpt-3.5-turbo" , { messages : ... } ) ;
const response = await unillm . createChatCompletion ( "openai/gpt-4" , { messages : ... } ) ;

// Anthropic
const response = await unillm . createChatCompletion ( "anthropic/claude-2" , { messages : ... } ) ;
const response = await unillm . createChatCompletion ( "anthropic/claude-1-instant" , { messages : ... } ) ;

// Azure OpenAI
const response = await unillm . createChatCompletion ( "azure/openai/<deployment-name>" , { messages : ... } ) ;

// More coming soon!

Хотите увидеть больше примеров? Проверьте интерактивные документы .

⚡ потоковая передача

Чтобы включить потоковую передачу, просто предоставьте stream: true в объекте параметров. Вот пример:

 const response = await unillm . createChatCompletion ( "openai/gpt-3.5-turbo" , {
  messages : ... ,
  stream : true
} ) ;

Хотите увидеть больше примеров? Проверьте интерактивные документы .

Внося

Мы приветствуем вклад сообщества! Пожалуйста, не стесняйтесь отправлять запросы на привлечение или создавать проблемы для ошибок или предложений функций.

Если вы хотите внести свой вклад, но не уверены, как, присоединяйтесь к нашему разногласию, и мы будем рады вам помочь!

Пожалуйста, ознакомьтесь с Anforming.md, прежде чем внести свой вклад.

Лицензия

Исходный код этого хранилища доступен под MIT.