council

歡迎

理事會是建立在Python的大型語言模型（LLMS）的開源平台，用於構建應用程序。

理事會提供了一個統一的界面，用於與OpenAI，Anthropic，Google和Ollama等不同LLM提供商合作。該框架使在提供商之間很容易切換，同時保持一致的接口和監視功能。

理事會的目標是為LLM應用程序提供企業級質量控制和監控（歡迎捐款）。

關鍵功能

• ？統一的LLM接口：不同LLM提供商的一致API，並進行內置錯誤處理和重試
• 提供商的靈活性：通過Groq和Ollama在OpenAI，Anthropic，Google Gemini和本地模型等LLM提供商之間輕鬆切換
• 用法監控：內置的消費跟踪和監視功能
• 配置管理：LLM參數（如溫度，最大令牌等）的靈活配置系統
• 錯誤處理：強大的錯誤處理和重試的生產機制

關鍵概念

LLM接口

理事會的核心是LLM界面，該界面提供了一種與不同語言模型提供商互動的統一方法。這包括：

• 靈活的配置選項
• 跨提供商的一致消息格式
• 內置重試機制
• 使用跟踪和監視

配置

理事會提供了強大的配置系統，可讓您：

• 設置提供者特定的參數
• 配置重試行為
• 控制模型參數，例如溫度，最大令牌等。
• 管理API憑據

監視

內置監控功能有助於跟踪：

• 令牌的使用和成本
• API調用數量
• 響應時間

Quickstart

安裝

以多種方式安裝理事會：

1. （建議）與PIP通過PYPI： pip install council-ai安裝
2. 使用git參考的PIP安裝： pip install git+https://github.com/chain-ml/council.git@<branch_name>
   • 更多文檔：https：//pip.pypa.io/en/stable/topics/vcs-support/#git
3. 與本地副本中的PIP安裝：
   • 克隆這個存儲庫
   • 導航到本地項目root，並通過pip install -e git+https://github.com/chain-ml/council.git@<branch_name>.

卸載： pip uninstall council-ai

當前穩定版本

設定

在.env文件（例如OpenAI）中設置所需的API鍵。請參閱.env.example作為一個示例。

Linter

使用make lint驗證您的代碼。

黑色的

使用black .自動重新格式化文件。

文件

可以在理事會上找到理事會的詳細文件。

支持

請提交GitHub問題，如果您需要任何幫助或通過Discord與團隊接觸。

貢獻者

理事會是一個正在積極發展的項目。我們歡迎所有貢獻，拉請請求，功能請求或報告的問題。