council

Bem-vindo

O Conselho é uma plataforma de código aberto para criar aplicativos com grandes modelos de idiomas (LLMS) - construído em Python.

O Conselho fornece uma interface unificada para trabalhar com diferentes provedores de LLM, como Openai, Anthropic, Google e Ollama. A estrutura facilita a alternância entre os provedores, mantendo interfaces consistentes e recursos de monitoramento.

O Conselho pretende fornecer controle e monitoramento da qualidade da qualidade corporativa para aplicativos LLM (as contribuições são bem-vindas).

Principais recursos

• ? Interface LLM Unified : API consistente em diferentes provedores de LLM com manuseio de erros interno e tentativas
• Flexibilidade do provedor : fácil alternar entre fornecedores de LLM como OpenAi, Anthrópio, Google Gemini e Modelos Locais via Groq e Ollama
• Monitoramento de uso : recursos de rastreamento e monitoramento de consumo interno
• Gerenciamento de configuração : sistema de configuração flexível para parâmetros LLM, como temperatura, tokens máximos etc.
• Manuseio de erros : lidar com erros robustos e mecanismos de nova tentativa para uso da produção

Conceitos -chave

Interface LLM

O núcleo do conselho é a interface LLM que fornece uma maneira unificada de interagir com diferentes provedores de modelos de idiomas. Isso inclui:

• Opções de configuração flexíveis
• Formatação de mensagens consistente entre os provedores
• Mecanismos de tentativa embutidos
• Rastreamento e monitoramento de uso

Configuração

O Conselho fornece um sistema de configuração robusto que permite:

• Defina parâmetros específicos do provedor
• Configure o comportamento da tentativa
• Parâmetros do modelo de controle, como temperatura, tokens max etc.
• Gerenciar credenciais de API

Monitoramento

Recursos de monitoramento embutidos ajudam a rastrear:

• Uso do token e custos
• Número de chamadas de API
• Tempos de resposta

Investir rápido

Instalação

Instale o Conselho de uma de várias maneiras:

1. (Recomendado) Instale com Pip via Pypi: pip install council-ai
2. Instale com o PIP no Git Ref: pip install git+https://github.com/chain-ml/council.git@<branch_name>
   • Mais documentação aqui: https://pip.pypa.io/en/stable/topics/vcs-support/#git
3. Instale com PIP da cópia local:
   • Clone este repositório
   • Navegue até o Projeto Local Raiz e instale via pip install -e git+https://github.com/chain-ml/council.git@<branch_name>.

Desinstale com: pip uninstall council-ai

Versão estável atual

Configurar

Configure suas teclas de API necessárias em um arquivo .env (por exemplo, OpenAI). Consulte .env.example como exemplo.

Linter

Use make lint para verificar seu código.

Preto

Use black . para reformar automaticamente arquivos.

Documentação

Uma documentação detalhada do Conselho pode ser encontrada no Conselho.

Apoiar

Envie um problema do Github, caso precise de ajuda ou entre em contato com a equipe via Discord.

Colaboradores

O Conselho é um projeto sob desenvolvimento ativo. Congratulamo -nos com todas as contribuições, solicitações, solicitações de recursos ou problemas relatados.