Parallel LLM API Requester 다운로드 - Parallel LLM API Requester 소스 코드 다운로드

Parallel LLM API Requester

AI 소스 코드

1.0.0

다운로드

OpenAi 병렬 요청 처리기

이 프로젝트는 많은 준비된 프롬프트를 동시에 배치 해야하는 시나리오의 채팅 완료를 위해 OpenAI 또는 Azure API에 병렬 요청을 단순화합니다.

이 프로젝트는 속도 제한 (요청 RPM 및 토큰 TRM 요청)을 효율적으로 관리하고 여러 입력을 동시에 간소화하기 위해 강력한 오류 처리를 통합합니다. 초보자에게 복잡하고 번거로운 공식 OpenAI 병렬 구현과 달리이 프로젝트는 강인 및 스레딩과 같은 라이브러리를 사용하여 단순화되고 이해하기 쉬운 접근 방식을 제공합니다.

노트북 예제

감정 분석 (2 분 이내에 1000 요청)

이 노트북은 Azure의 OpenAI Service의 GPT-3.5 Turbo 모델을 사용하여 재무 감사 보고서 문장에 대한 감정 분석을 수행합니다. 목표는 각 문장의 감정을 긍정적, 중립적이거나 부정적인 것으로 분류하는 것입니다. Hugging Face의 데이터 세트 허브에서 사용할 수있는 "Auditor_Sentiment"데이터 세트의 1000 샘플의 하위 집합 이이 분석에 사용됩니다. 해당 구성 파일에서 API 매개 변수를 조정하십시오.

요구 사항

OpenAi 또는 Azure의 API 키
api 키를 .env OPENAI_API_KEY= <your_token> 또는 AZURE_OPENAI_API_KEY = <your_token> 에 저장하십시오.

설치

이 프로젝트를 시작하기 위해 필요한 패키지를 설치하여 Jupyter Notebook의 커널로 가상 환경 (MACOS)을 설정하십시오.

python -m venv myenv

source myenv/bin/activate

pip install -r requirements.txt

python -m ipykernel install --user --name=myenv --display-name= " Python 3.11 (myenv) "

주요 기능

ThreadPooleExecutor : 여러 요청을 병렬로 관리하여 응답 시간을 개선합니다.
세마포어 : 요금 제한을 준수하기위한 API 호출 속도를 제어합니다.
재 시도 메커니즘 : 실패한 요청을 자동으로 재 시도하여 간헐적 오류를 효과적으로 처리합니다.
사용자 정의 오류 처리 : 모든 재 시도가 실패한 후 트리거하는 폴백 메커니즘을 제공하여 오류에도 불구하고 프로세스가 원활하게 진행될 수 있습니다.