council

ยินดีต้อนรับ

สภา เป็นแพลตฟอร์มโอเพ่นซอร์สสำหรับการสร้างแอปพลิเคชันที่มีรูปแบบภาษาขนาดใหญ่ (LLMS) - Built in Python

สภาจัดหาอินเทอร์เฟซแบบครบวงจรสำหรับการทำงานกับผู้ให้บริการ LLM ที่แตกต่างกันเช่น OpenAI, Manthropic, Google และ Ollama เฟรมเวิร์กทำให้ง่ายต่อการสลับระหว่างผู้ให้บริการในขณะที่ยังคงรักษาอินเตอร์เฟสที่สอดคล้องกันและความสามารถในการตรวจสอบ

สภา มีวัตถุประสงค์เพื่อให้การควบคุมคุณภาพระดับองค์กรและการตรวจสอบสำหรับแอปพลิเคชัน LLM (ยินดีต้อนรับผลงาน)

คุณสมบัติที่สำคัญ

• - อินเทอร์เฟซ LLM Unified : API ที่สอดคล้องกันในผู้ให้บริการ LLM ที่แตกต่างกันด้วยการจัดการข้อผิดพลาดในตัวและการลองใหม่
• ความยืดหยุ่นของผู้ให้บริการ : การสลับง่ายระหว่างผู้ให้บริการ LLM เช่น OpenAI, Manthropic, Google Gemini และรุ่นท้องถิ่นผ่าน GROQ และ Ollama
• การตรวจสอบการใช้งาน : ความสามารถในการติดตามและตรวจสอบการบริโภคในตัวในตัว
• การจัดการการกำหนดค่า : ระบบกำหนดค่าที่ยืดหยุ่นสำหรับพารามิเตอร์ LLM เช่นอุณหภูมิโทเค็นสูงสุด ฯลฯ
• การจัดการข้อผิดพลาด : การจัดการข้อผิดพลาดที่แข็งแกร่งและกลไกการลองใหม่สำหรับการใช้งานการผลิต

แนวคิดหลัก

อินเตอร์เฟส LLM

แกนหลักของสภาคืออินเทอร์เฟซ LLM ซึ่งเป็นวิธีที่รวมกันในการโต้ตอบกับผู้ให้บริการรูปแบบภาษาที่แตกต่างกัน ซึ่งรวมถึง:

• ตัวเลือกการกำหนดค่าที่ยืดหยุ่น
• การจัดรูปแบบข้อความที่สอดคล้องกันทั่วทั้งผู้ให้บริการ
• กลไกการลองใหม่ในตัว
• การติดตามการใช้งานและการตรวจสอบ

การกำหนดค่า

สภาจัดเตรียมระบบการกำหนดค่าที่แข็งแกร่งซึ่งช่วยให้คุณ:

• ตั้งค่าพารามิเตอร์เฉพาะของผู้ให้บริการ
• กำหนดค่าพฤติกรรมการลองใหม่
• พารามิเตอร์โมเดลควบคุมเช่นอุณหภูมิโทเค็นสูงสุด ฯลฯ
• จัดการข้อมูลรับรอง API

การตรวจ

ความสามารถในการตรวจสอบในตัวช่วยติดตาม:

• การใช้โทเค็นและค่าใช้จ่าย
• จำนวนการโทร API
• เวลาตอบสนอง

เร็ว

การติดตั้ง

ติดตั้งสภาด้วยวิธีหนึ่ง:

1. (แนะนำ) ติดตั้งด้วย PIP ผ่าน PYPI: pip install council-ai
2. ติดตั้งด้วย PIP จาก GIT REF: pip install git+https://github.com/chain-ml/council.git@<branch_name>
   • เอกสารเพิ่มเติมที่นี่: https://pip.pypa.io/en/stable/topics/vcs-support/#git
3. ติดตั้งด้วย PIP จากสำเนาท้องถิ่น:
   • โคลนที่เก็บนี้
   • นำทางไปยังรูทโครงการท้องถิ่นและติดตั้งผ่าน pip install -e git+https://github.com/chain-ml/council.git@<branch_name>.

ถอนการติดตั้งด้วย: pip uninstall council-ai

เวอร์ชันเสถียรปัจจุบัน

การตั้งค่า

ตั้งค่าปุ่ม API ที่คุณต้องการในไฟล์ .env (เช่น openai) อ้างถึง .env.example เป็นตัวอย่าง

คนเชือก

ใช้ make lint เพื่อยืนยันรหัสของคุณ

สีดำ

ใช้ black . เพื่อฟอร์แมตไฟล์โดยอัตโนมัติ

เอกสาร

เอกสารรายละเอียดของสภาสามารถพบได้ที่ Council.dev

สนับสนุน

โปรดส่งปัญหา GitHub หากคุณต้องการความช่วยเหลือหรือติดต่อกับทีมผ่าน Discord

ผู้มีส่วนร่วม

สภาเป็นโครงการที่อยู่ภายใต้การพัฒนาที่ใช้งานอยู่ เรายินดีต้อนรับการมีส่วนร่วมทั้งหมดคำขอดึงคำขอคุณลักษณะหรือปัญหาที่รายงาน