council

환영

시의회는 파이썬으로 내장 된 대형 언어 모델 (LLM)을 갖춘 응용 프로그램을 구축하기위한 오픈 소스 플랫폼입니다.

시의회는 OpenAi, Anthropic, Google 및 Ollama와 같은 다양한 LLM 제공 업체와 협력하기위한 통합 인터페이스를 제공합니다. 프레임 워크를 사용하면 일관된 인터페이스와 모니터링 기능을 유지하면서 제공자간에 쉽게 전환 할 수 있습니다.

시의회는 LLM 응용 프로그램에 대한 엔터프라이즈 급 품질 관리 및 모니터링을 제공하는 것을 목표로합니다 (기부금을 환영합니다).

주요 기능

• ? Unified LLM 인터페이스 : 내장 오류 처리 및 검색이있는 다른 LLM 제공 업체의 일관된 API
• 제공자 유연성 : Groq 및 Ollama를 통한 OpenAi, Anthropic, Google Gemini 및 로컬 모델과 같은 LLM 제공 업체 간의 쉬운 전환
• 사용 모니터링 : 내장 소비 추적 및 모니터링 기능
• 구성 관리 : 온도, 최대 토큰 등과 같은 LLM 매개 변수에 대한 유연한 구성 시스템.
• 오류 처리 : 생산 사용을위한 강력한 오류 처리 및 재 시도 메커니즘

주요 개념

LLM 인터페이스

협의회의 핵심은 LLM 인터페이스로, 다른 언어 모델 제공 업체와 상호 작용하는 통합 방법을 제공합니다. 여기에는 다음이 포함됩니다.

• 유연한 구성 옵션
• 제공자 전체의 일관된 메시지 형식
• 내장 재시도 메커니즘
• 사용량 추적 및 모니터링

구성

시의회는 다음을 수행 할 수있는 강력한 구성 시스템을 제공합니다.

• 제공자 별 매개 변수를 설정하십시오
• 재 시도 행동을 구성합니다
• 온도, 최대 토큰 등과 같은 제어 모델 매개 변수
• API 자격 증명을 관리합니다

모니터링

내장 모니터링 기능은 다음을 도와줍니다.

• 토큰 사용 및 비용
• API 호출 수
• 응답 시간

QuickStart

설치

여러 가지 방법 중 하나로 협의회를 설치하십시오.

1. (권장) PIPI를 통해 PIP로 설치 : pip install council-ai
2. git ref에서 PIP로 설치하십시오 : pip install git+https://github.com/chain-ml/council.git@<branch_name>
   • 자세한 내용은 여기를 참조하십시오 : https://pip.pypa.io/en/stable/topics/vcs-support/#git
3. 로컬 사본에서 PIP로 설치 :
   • 이 저장소를 복제하십시오
   • 로컬 프로젝트 루트로 이동하여 pip install -e git+https://github.com/chain-ml/council.git@<branch_name>.

다음과 같이 제거하십시오 : pip uninstall council-ai

현재 안정적인 버전

설정

.env 파일 (예 : OpenAI)에서 필요한 API 키를 설정하십시오. .env.example 을 예로 참조하십시오.

린터

make lint 사용하여 코드를 확인하십시오.

검은색

black . 파일을 자동으로 재구성합니다.

선적 서류 비치

협의회에 대한 자세한 문서는 Council.dev에서 찾을 수 있습니다.

지원하다

Discord를 통해 도움이 필요하거나 팀에 연락 해야하는 경우 GitHub 문제를 제출하십시오.

기고자

협의회는 적극적인 개발중인 프로젝트입니다. 우리는 모든 기여, 풀 요청, 기능 요청 또는보고 된 문제를 환영합니다.