Parallel LLM API Requester

OpenAI并行请求处理程序

该项目简化了对OpenAI或Azure API的并行请求，以聊天，以完成方案的聊天完成，其中人们需要同时处理大量准备的提示。

该项目有效地管理速率限制（请求RPM和令牌TRM），并结合了可靠的错误处理以同时简化多个输入。与官方的OpenAI并行实施不同，对于初学者来说可能很复杂且繁琐，该项目使用诸如坚韧和螺纹之类的库提供了简化，易于理解的方法。

笔记本示例

1. 情感分析（不到2分钟的1000个请求）

该笔记本使用Azure的OpenAI服务中的GPT-3.5 Turbo模型对财务审核员报告句子进行了情感分析。目的是将每个句子的情感归类为正，中性或负面。此分析使用了“ Auditor_sentiment”数据集中的1000样本的子集，可用于Hugging Face的数据集集线器。确保调整相应配置文件中的API参数

要求

• 来自Openai或Azure的API键
• 将API键存储在名为.env OPENAI_API_KEY= <your_token>或AZURE_OPENAI_API_KEY = <your_token>的文件中。

安装

通过安装所需软件包开始此项目，将虚拟环境（MACO）设置为Jupyter笔记本中的内核：

python -m venv myenv

source myenv/bin/activate

pip install -r requirements.txt

python -m ipykernel install --user --name=myenv --display-name= " Python 3.11 (myenv) "

关键功能

• ThreadPoolExecutor：并行管理多个请求，以改善响应时间。
• 信号：控制API调用的速率以符合速率限制。
• 重试机制：通过自动重试失败的请求有效地处理间歇性错误。
• 自定义错误处理：提供了一种后备机制，该机制在所有重试尝试失败后会触发该机制，从而使该过程尽管出错了。

相关项目

尽管其他项目提供了与OpenAI API进行交互的机制，但该项目利用了诸如坚韧和螺纹之类的库，专注于简单性和易用性，尤其是对于新的并行计算的用户。

此脚本OpenAi-cookbook/示例/API_REQUEST_PARALEL_PROCESSOR.PY非常适合向OpenAI API提出并行请求。但是，对于一个只想发送已经可以同时准备的提示的情况，这可能很复杂且繁琐。该项目旨在简化和简化该过程。

学分

特别感谢Max Planck人类发展研究所，人类和机器中心提供了促进该项目开发的OpenAI和Azure API端点。

有关他们的工作和进一步研究的更多信息，请访问其GitHub和官方网站。