Parallel LLM API Requester

Openai並列はハンドラーを要求します

このプロジェクトは、多くの準備プロンプトを同時に処理する必要があるシナリオのチャット完了のために、OpenAIまたはAzure APIに並行リクエストを行うことを簡素化します。

このプロジェクトは、レート制限（RPM＆トークンTRMの要求）を効率的に管理し、複数の入力の処理を同時に合理化するための堅牢なエラー処理を組み込みます。初心者にとって複雑で面倒な公式並列実装とは異なり、このプロジェクトは、粘り強さやスレッドなどのライブラリを使用して、簡素化された、理解しやすいアプローチを提供します。

ノートブックの例

1. 感情分析（2分以内に1000のリクエスト）

このノートブックは、AzureのOpenaiサービスのGPT-3.5 Turboモデルを使用して、金融監査人レポートの文のセンチメント分析を実行します。目標は、各文の感情をポジティブ、ニュートラル、またはネガティブとして分類することです。 Faceのデータセットハブを抱き締める「Auditor_Sentiment」データセットからの1000サンプルのサブセットがこの分析に使用されます。対応する構成ファイルのAPIパラメーターを必ず調整してください

要件

• OpenaiまたはAzureのAPIキー
• APIキーは、.env OPENAI_API_KEY= <your_token>またはAZURE_OPENAI_API_KEY = <your_token>という名前のファイルに保存します

インストール

このプロジェクトを開始するために必要なパッケージをインストールして、Jupyterノートブックのカーネルとして仮想環境（MacOS）をセットアップします。

python -m venv myenv

source myenv/bin/activate

pip install -r requirements.txt

python -m ipykernel install --user --name=myenv --display-name= " Python 3.11 (myenv) "

重要な機能

• ThreadPoolexecutor：複数のリクエストを並行して管理し、応答時間を改善します。
• セマフォ：API呼び出しのレートを制御して、レート制限を順守します。
• 再試行メカニズム：失敗した要求を自動的に再試行することにより、断続的なエラーを効果的に処理します。
• カスタムエラー処理：すべての再試行が失敗した後にトリガーされるフォールバックメカニズムを提供し、エラーにもかかわらずプロセスをスムーズに進めることができます。

関連プロジェクト

他のプロジェクトはOpenaiのAPIと対話するメカニズムを提供しますが、このプロジェクトは、特に並列コンピューティングから新しいユーザーにとって、粘り強さやスレッドなどのライブラリを利用して、シンプルさと使いやすさに焦点を当てています。

このスクリプトOpenai-Cookbook/Examples/API_REQUEST_PARLELALLE_PROCERSOR.PYは、OpenAI APIに並行リクエストを行うのに適しています。ただし、すでに同時に準備されている多くのプロンプトを送信したいシナリオにとっては、複雑で面倒な場合があります。このプロジェクトは、そのプロセスを合理化および簡素化することを目的としています。

クレジット

このプロジェクトの開発を促進したOpenaiおよびAzure APIエンドポイントを提供してくれた人間および機械センターのMax Planck Institute for Human＆Machinesに感謝します。

彼らの仕事とさらなる調査の詳細については、Githubと公式ウェブサイトをご覧ください。