UniLLM

Unillm允許您使用OpenAI API調用任何LLM，並具有100％的安全性。

好處

• 使用OpenAI API與任何提供商集成並模型
• 在所有模型和提供商中的一致聊天響應和日誌
• ？在所有提供商和模型中鍵入安全性
• ？無縫在LLM之間無縫切換而無需重寫您的代碼庫
• ✅如果您為服務編寫測試，則只需要測試一次
• （即將推出）請求緩存和費率限制
• （即將推出）成本監控和警報

用法

檢查我們的交互式文檔

聊天完成

使用Unillm，您甚至可以使用聊天完成，即使對於不本地支持的提供商/模型（例如人為）。

npm i unillm

 import { UniLLM } from 'unillm' ;

const unillm = new UniLLM ( ) ;

// OpenAI
const response = await unillm . createChatCompletion ( "openai/gpt-3.5-turbo" , { messages : ... } ) ;
const response = await unillm . createChatCompletion ( "openai/gpt-4" , { messages : ... } ) ;

// Anthropic
const response = await unillm . createChatCompletion ( "anthropic/claude-2" , { messages : ... } ) ;
const response = await unillm . createChatCompletion ( "anthropic/claude-1-instant" , { messages : ... } ) ;

// Azure OpenAI
const response = await unillm . createChatCompletion ( "azure/openai/<deployment-name>" , { messages : ... } ) ;

// More coming soon!

想看更多示例嗎？查看交互式文檔。

⚡️流

要啟用流媒體，只需在“選項對象”中提供stream: true 。這是一個示例：

 const response = await unillm . createChatCompletion ( "openai/gpt-3.5-turbo" , {
  messages : ... ,
  stream : true
} ) ;

想看更多示例嗎？查看交互式文檔。

貢獻

我們歡迎社區的捐款！請隨時提交拉動請求或為錯誤或功能建議創建問題。

如果您想做出貢獻但不確定如何加入我們的不和諧，我們會很樂意為您提供幫助！

請在貢獻前查看貢獻。

執照

該存儲庫的源代碼可在MIT下獲得。