council

Bienvenido

El Consejo es una plataforma de código abierto para la creación de aplicaciones con modelos de idiomas grandes (LLM), construida en Python.

El Consejo proporciona una interfaz unificada para trabajar con diferentes proveedores de LLM como OpenAI, Anthrope, Google y Ollama. El marco facilita el cambio entre proveedores mientras mantiene interfaces consistentes y capacidades de monitoreo.

El Consejo tiene como objetivo proporcionar control y monitoreo de calidad de grado empresarial para las aplicaciones LLM (las contribuciones son bienvenidas).

Características clave

• ? Interfaz LLM unificada : API consistente en diferentes proveedores de LLM con manejo de errores incorporados y reintentos
• Flexibilidad del proveedor : cambio fácil entre proveedores de LLM como OpenAI, Anthrope, Google Gemini y modelos locales a través de Groq y Ollama
• Monitoreo de uso : capacidades de seguimiento y monitoreo de consumo incorporado
• Gestión de la configuración : sistema de configuración flexible para parámetros LLM como temperatura, tokens máximos, etc.
• Manejo de errores : manejo de errores robusto y mecanismos de reintento para el uso de la producción

Conceptos clave

Interfaz LLM

El núcleo del consejo es la interfaz LLM que proporciona una forma unificada de interactuar con diferentes proveedores de modelos de idiomas. Esto incluye:

• Opciones de configuración flexibles
• Formato de mensaje consistente entre los proveedores
• Mecanismos de reintento incorporados
• Seguimiento y monitoreo de uso

Configuración

El consejo proporciona un sistema de configuración robusto que le permite:

• Establecer parámetros específicos del proveedor
• Configurar el comportamiento de reintento
• Parámetros del modelo de control como temperatura, tokens máximos, etc.
• Administrar credenciales de API

Escucha

Capacidades de monitoreo incorporadas Ayuda Pista:

• Uso y costos del token
• Número de llamadas API
• Tiempos de respuesta

Inicio rápido

Instalación

Instale el consejo de una de múltiples maneras:

1. (Recomendado) Instale con PIP a través de PYPI: pip install council-ai
2. Instale con PIP de Git Ref: pip install git+https://github.com/chain-ml/council.git@<branch_name>
   • Más documentación aquí: https://pip.pypa.io/en/stable/topics/vcs-support/#git
3. Instalar con PIP desde la copia local:
   • Clon este repositorio
   • Navegue a la raíz del proyecto local e instale a través de pip install -e git+https://github.com/chain-ml/council.git@<branch_name>.

Desinstalar con: pip uninstall council-ai

Versión estable actual

Configuración

Configure sus claves API requeridas en un archivo .env (por ejemplo, OpenAI). Consulte .env.example como un ejemplo.

Intervalor

Use make lint para verificar su código.

Negro

Usa black . Para reformatear automáticamente los archivos.

Documentación

Se puede encontrar una documentación detallada del Consejo en Council.dev.

Apoyo

Envíe un problema de GitHub en caso de que necesite ayuda o comuníquese con el equipo a través de Discord.

Colaboradores

El consejo es un proyecto bajo desarrollo activo. Agradecemos todas las contribuciones, solicitudes de extracción, solicitudes de funciones o problemas informados.