Parallel LLM API Requester

Openai Paralled Requests Handler

โครงการนี้ทำให้การร้องขอแบบขนานกับ OpenAI หรือ Azure API ง่ายขึ้นสำหรับการแชทเสร็จสิ้นสถานการณ์ที่ต้องใช้แบทช์กระบวนการ ที่เตรียมไว้จำนวนมากพร้อมกัน

โครงการนี้จัดการขีด จำกัด อัตราอย่างมีประสิทธิภาพ (ขอ RPM & Tokens TRM) และรวมการจัดการข้อผิดพลาดที่แข็งแกร่งเพื่อปรับปรุงการประมวลผลหลายอินพุตพร้อมกัน ซึ่งแตกต่างจากการใช้งาน OpenAi Parallel อย่างเป็นทางการซึ่งอาจซับซ้อนและยุ่งยากสำหรับผู้เริ่มต้นโครงการนี้นำเสนอวิธีการที่ง่ายและเข้าใจง่ายโดยใช้ห้องสมุดเช่นความดื้อรั้นและเกลียว

ตัวอย่างสมุดบันทึก

1. การวิเคราะห์ความเชื่อมั่น (1,000 คำขอในเวลาน้อยกว่า 2 นาที)

สมุดบันทึกนี้ทำการวิเคราะห์ความเชื่อมั่นเกี่ยวกับประโยครายงานผู้ตรวจสอบทางการเงินโดยใช้ GPT-3.5 Turbo Model จากบริการ OpenAI ของ Azure เป้าหมายคือการจัดหมวดหมู่ความเชื่อมั่นของแต่ละประโยคเป็นบวกเป็นกลางหรือลบ ชุดย่อยของตัวอย่าง 1000 ตัวอย่างจากชุดข้อมูล "Auditor_Sentiment" ที่มีอยู่ใน Hugging Face's Datasets Hub ถูกนำมาใช้สำหรับการวิเคราะห์นี้ ตรวจสอบให้แน่ใจว่าได้ปรับพารามิเตอร์ API ในไฟล์กำหนดค่าที่เกี่ยวข้อง

ความต้องการ

• คีย์ API จาก Openai หรือ Azure
• จัดเก็บคีย์ API ในไฟล์ชื่อ. ENV OPENAI_API_KEY= <your_token> หรือ AZURE_OPENAI_API_KEY = <your_token>

การติดตั้ง

ตั้งค่าสภาพแวดล้อมเสมือนจริง (MacOS) เป็นเคอร์เนลในสมุดบันทึก Jupyter โดยการติดตั้งแพ็คเกจที่จำเป็นเพื่อเริ่มต้นโครงการนี้:

python -m venv myenv

source myenv/bin/activate

pip install -r requirements.txt

python -m ipykernel install --user --name=myenv --display-name= " Python 3.11 (myenv) "

คุณสมบัติที่สำคัญ

• Threadpoolexecutor: จัดการหลายคำขอในแบบคู่ขนานปรับปรุงเวลาตอบสนอง
• Semaphore: ควบคุมอัตราการโทร API เพื่อให้สอดคล้องกับขีด จำกัด อัตรา
• กลไกการลองใหม่: จัดการข้อผิดพลาดเป็นระยะ ๆ ได้อย่างมีประสิทธิภาพโดยการลองคำขอที่ล้มเหลวโดยอัตโนมัติ
• การจัดการข้อผิดพลาดที่กำหนดเอง: จัดเตรียมกลไกทางเลือกที่ก่อให้เกิดความพยายามลองใหม่ทั้งหมดล้มเหลวทำให้กระบวนการดำเนินการอย่างราบรื่นแม้จะมีข้อผิดพลาด

โครงการที่เกี่ยวข้อง

ในขณะที่โครงการอื่น ๆ มีกลไกในการโต้ตอบกับ API ของ OpenAI โครงการนี้ใช้ห้องสมุดเช่นความดื้อรั้นและเกลียวโดยมุ่งเน้นไปที่ความเรียบง่ายและความสะดวกในการใช้งานโดยเฉพาะอย่างยิ่งสำหรับผู้ใช้ที่ยังใหม่กับการคำนวณแบบขนาน

สคริปต์นี้ openai-cookbook/ตัวอย่าง/api_request_parallel_processor.py เหมาะอย่างยิ่งสำหรับการร้องขอแบบขนานไปยัง OpenAI API อย่างไรก็ตามมันอาจซับซ้อนและยุ่งยากสำหรับสถานการณ์ที่เราต้องการส่งพรอมต์จำนวนมากที่เตรียมไว้แล้วพร้อมกัน โครงการนี้มีจุดมุ่งหมายเพื่อปรับปรุงและทำให้กระบวนการนั้นง่ายขึ้น

การให้เครดิต

ขอขอบคุณเป็นพิเศษกับ Max Planck Institute เพื่อการพัฒนามนุษย์ศูนย์เพื่อมนุษย์และเครื่องจักรสำหรับการจัดหาจุดสิ้นสุดของ OpenAI และ Azure API ที่อำนวยความสะดวกในการพัฒนาโครงการนี้

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการทำงานและการวิจัยเพิ่มเติมกรุณาเยี่ยมชม GitHub และเว็บไซต์ทางการของพวกเขา