council

Willkommen

Council ist eine Open -Source -Plattform für den Aufbau von Anwendungen mit großsprachigen Modellen (LLMs) - in Python integriert.

Der Rat bietet eine einheitliche Schnittstelle für die Zusammenarbeit mit verschiedenen LLM -Anbietern wie OpenAI, Anthropic, Google und Ollama. Das Framework erleichtert es einfach, zwischen Anbietern zu wechseln und gleichzeitig konsistente Schnittstellen und Überwachungsfunktionen aufrechtzuerhalten.

Der Rat zielt darauf ab, eine Qualitätskontrolle und Überwachung von Unternehmensqualität für LLM-Anwendungen bereitzustellen (Beiträge sind willkommen).

Schlüsselmerkmale

• ? Unified LLM-Schnittstelle : Konsistente API über verschiedene LLM-Anbieter mit integriertem Fehlerbehandlungen und -Regries
• Flexibilität der Anbieter : Einfaches Umschalten zwischen LLM -Anbietern wie OpenAI, Anthropic, Google Gemini und lokalen Modellen über GROQ und OLLAMA
• Verwendungsüberwachung : Integrierte Verbrauchs- und Überwachungsfunktionen
• Konfigurationsmanagement : Flexible Konfigurationssystem für LLM -Parameter wie Temperatur, maximale Tokens usw.
• Fehlerbehandlung : Robuste Fehlerbehandlung und Wiederholung von Mechanismen für die Produktionsanwendung

Schlüsselkonzepte

LLM -Schnittstelle

Der Kern des Rates ist die LLM -Schnittstelle, die eine einheitliche Möglichkeit bietet, mit verschiedenen Sprachmodellanbietern zu interagieren. Dies beinhaltet:

• Flexible Konfigurationsoptionen
• Konsistente Nachrichtenformatierung zwischen Anbietern
• Eingebaute Wiederholungsmechanismen
• Verwendungsverfolgung und Überwachung

Konfiguration

Der Rat bietet ein robustes Konfigurationssystem, mit dem Sie:

• Setzen Sie die providerspezifischen Parameter
• Wiederholungsverhalten konfigurieren
• Kontrollmodellparameter wie Temperatur, maximale Token usw.
• API -Anmeldeinformationen verwalten

Überwachung

Integrierte Überwachungsfunktionen helfen bei der Verfolgung:

• Token -Nutzung und Kosten
• Anzahl der API -Anrufe
• Antwortzeiten

QuickStart

Installation

Installieren Sie den Rat auf vielfältige Weise:

1. (Empfohlen) mit PIP über PYPI installieren: pip install council-ai
2. Installieren Sie mit PIP von Git Ref: pip install git+https://github.com/chain-ml/council.git@<branch_name>
   • Weitere Dokumentation hier: https://pip.pypa.io/en/stable/topics/vcs--support/#git
3. Installieren Sie mit PIP aus der lokalen Kopie:
   • Klonen Sie dieses Repository
   • Navigieren Sie zu lokalem Projekt als Projekt und installieren Sie über pip install -e git+https://github.com/chain-ml/council.git@<branch_name>.

Deinstallieren mit: pip uninstall council-ai

Aktuelle stabile Version

Aufstellen

Richten Sie Ihre erforderlichen API -Schlüssel in einer .env -Datei (z. B. OpenAI) ein. Siehe .env.example als Beispiel.

Linter

Verwenden Sie make lint um Ihren Code zu überprüfen.

Schwarz

black . Dateien automatisch neu formatieren.

Dokumentation

Eine detaillierte Dokumentation des Rates finden Sie im Rat.

Unterstützung

Bitte senden Sie ein GitHub -Problem, falls Sie Hilfe benötigen oder über Discord an das Team wenden müssen.

Mitwirkende

Der Rat ist ein Projekt unter aktiver Entwicklung. Wir begrüßen alle Beiträge, Anfragen, Feature -Anfragen oder gemeldete Probleme.