council

欢迎

理事会是建立在Python的大型语言模型（LLMS）的开源平台，用于构建应用程序。

理事会提供了一个统一的界面，用于与OpenAI，Anthropic，Google和Ollama等不同LLM提供商合作。该框架使在提供商之间很容易切换，同时保持一致的接口和监视功能。

理事会的目标是为LLM应用程序提供企业级质量控制和监控（欢迎捐款）。

关键功能

• ？统一的LLM接口：不同LLM提供商的一致API，并进行内置错误处理和重试
• 提供商的灵活性：通过Groq和Ollama在OpenAI，Anthropic，Google Gemini和本地模型等LLM提供商之间轻松切换
• 用法监控：内置的消费跟踪和监视功能
• 配置管理：LLM参数（如温度，最大令牌等）的灵活配置系统
• 错误处理：强大的错误处理和重试的生产机制

关键概念

LLM接口

理事会的核心是LLM界面，该界面提供了一种与不同语言模型提供商互动的统一方法。这包括：

• 灵活的配置选项
• 跨提供商的一致消息格式
• 内置重试机制
• 使用跟踪和监视

配置

理事会提供了强大的配置系统，可让您：

• 设置提供者特定的参数
• 配置重试行为
• 控制模型参数，例如温度，最大令牌等。
• 管理API凭据

监视

内置监控功能有助于跟踪：

• 令牌的使用和成本
• API调用数量
• 响应时间

Quickstart

安装

以多种方式安装理事会：

1. （建议）与PIP通过PYPI： pip install council-ai安装
2. 使用git参考的PIP安装： pip install git+https://github.com/chain-ml/council.git@<branch_name>
   • 更多文档：https：//pip.pypa.io/en/stable/topics/vcs-support/#git
3. 与本地副本中的PIP安装：
   • 克隆这个存储库
   • 导航到本地项目root，并通过pip install -e git+https://github.com/chain-ml/council.git@<branch_name>.

卸载： pip uninstall council-ai

当前稳定版本

设置

在.env文件（例如OpenAI）中设置所需的API键。请参阅.env.example作为一个示例。

Linter

使用make lint验证您的代码。

黑色的

使用black .自动重新格式化文件。

文档

可以在理事会上找到理事会的详细文件。

支持

请提交GitHub问题，如果您需要任何帮助或通过Discord与团队接触。

贡献者

理事会是一个正在积极发展的项目。我们欢迎所有贡献，拉请请求，功能请求或报告的问题。