Parallel LLM API Requester

OpenAI並行請求處理程序

該項目簡化了對OpenAI或Azure API的並行請求，以聊天，以完成方案的聊天完成，其中人們需要同時處理大量準備的提示。

該項目有效地管理速率限制（請求RPM和令牌TRM），並結合了可靠的錯誤處理以同時簡化多個輸入。與官方的OpenAI並行實施不同，對於初學者來說可能很複雜且繁瑣，該項目使用諸如堅韌和螺紋之類的庫提供了簡化，易於理解的方法。

筆記本示例

1. 情感分析（不到2分鐘的1000個請求）

該筆記本使用Azure的OpenAI服務中的GPT-3.5 Turbo模型對財務審核員報告句子進行了情感分析。目的是將每個句子的情感歸類為正，中性或負面。此分析使用了“ Auditor_sentiment”數據集中的1000樣本的子集，可用於Hugging Face的數據集集線器。確保調整相應配置文件中的API參數

要求

• 來自Openai或Azure的API鍵
• 將API鍵存儲在名為.env OPENAI_API_KEY= <your_token>或AZURE_OPENAI_API_KEY = <your_token>的文件中。

安裝

通過安裝所需軟件包開始此項目，將虛擬環境（MACO）設置為Jupyter筆記本中的內核：

python -m venv myenv

source myenv/bin/activate

pip install -r requirements.txt

python -m ipykernel install --user --name=myenv --display-name= " Python 3.11 (myenv) "

關鍵功能

• ThreadPoolExecutor：並行管理多個請求，以改善響應時間。
• 信號：控制API調用的速率以符合速率限制。
• 重試機制：通過自動重試失敗的請求有效地處理間歇性錯誤。
• 自定義錯誤處理：提供了一種後備機制，該機制在所有重試嘗試失敗後會觸發該機制，從而使該過程儘管出錯了。

相關項目

儘管其他項目提供了與OpenAI API進行交互的機制，但該項目利用了諸如堅韌和螺紋之類的庫，專注於簡單性和易用性，尤其是對於新的並行計算的用戶。

此腳本OpenAi-cookbook/示例/API_REQUEST_PARALEL_PROCESSOR.PY非常適合向OpenAI API提出並行請求。但是，對於一個只想發送已經可以同時準備的提示的情況，這可能很複雜且繁瑣。該項目旨在簡化和簡化該過程。

學分

特別感謝Max Planck人類發展研究所，人類和機器中心提供了促進該項目開發的OpenAI和Azure API端點。

有關他們的工作和進一步研究的更多信息，請訪問其GitHub和官方網站。