council

Accueillir

Le Conseil est une plate-forme open source pour créer des applications avec des modèles de grande langue (LLMS) - intégrés dans Python.

Le Conseil fournit une interface unifiée pour travailler avec différents fournisseurs de LLM comme Openai, Anthropic, Google et Olllama. Le cadre permet de basculer facilement entre les fournisseurs tout en maintenant des interfaces cohérentes et des capacités de surveillance.

Le Conseil vise à fournir un contrôle de qualité et une surveillance de la qualité des entreprises pour les applications LLM (les contributions sont les bienvenues).

Caractéristiques clés

• ? Interface LLM unifiée : API cohérente sur différents fournisseurs de LLM avec une gestion des erreurs et des tentatives intégrées
• Flexibilité du fournisseur : commutation facile entre les fournisseurs de LLM comme Openai, Anthropic, Google Gemini et les modèles locaux via Groq et Olllay
• Surveillance de l'utilisation : capacités de suivi et de surveillance intégrées
• Gestion de la configuration : Système de configuration flexible pour les paramètres LLM comme la température, les jetons max, etc.
• Gestion des erreurs : mécanismes de gestion des erreurs robustes pour l'utilisation de la production

Concepts clés

Interface LLM

Le noyau du conseil est l'interface LLM qui fournit un moyen unifié d'interagir avec différents fournisseurs de modèles linguistiques. Cela comprend:

• Options de configuration flexibles
• Formatage de messages cohérent entre les fournisseurs
• Mécanismes de réessayer intégrés
• Suivi et surveillance de l'utilisation

Configuration

Le Conseil fournit un système de configuration robuste qui vous permet de:

• Définir les paramètres spécifiques au fournisseur
• Configurer le comportement de réessayer
• Paramètres du modèle de contrôle comme la température, les jetons max, etc.
• Gérer les informations d'identification API

Surveillance

Les capacités de surveillance intégrées aident à suivre:

• Utilisation et coûts de jetons
• Nombre d'appels API
• Temps de réponse

Start

Installation

Installez le conseil de l'une de plusieurs manières:

1. (Recommandé) Installer avec PIP via PYPI: pip install council-ai
2. Installez avec PIP de Git Ref: pip install git+https://github.com/chain-ml/council.git@<branch_name>
   • Plus de documentation ici: https://pip.pypa.io/en/stable/topics/vcs-support/#git
3. Installer avec PIP à partir de la copie locale:
   • Cloner ce référentiel
   • Accédez à Root du projet local et installez via pip install -e git+https://github.com/chain-ml/council.git@<branch_name>.

Désinstaller avec: pip uninstall council-ai

Version stable actuelle

Installation

Configurez vos clés API requises dans un fichier .env (par exemple Openai). Reportez-vous à .env.example comme exemple.

Linter

Utilisez make lint pour vérifier votre code.

Noir

Utilisez black . pour reformater automatiquement les fichiers.

Documentation

Une documentation détaillée du Conseil peut être trouvée au conseil.dev.

Soutien

Veuillez soumettre un problème GitHub si vous avez besoin d'aide ou de contacter l'équipe via Discord.

Contributeurs

Le Conseil est un projet en cours de développement actif. Nous accueillons toutes les contributions, les demandes de traction, les demandes de fonctionnalités ou les problèmes signalés.