Parallel LLM API Requester

Manejador de solicitudes paralelas de Openai

Este proyecto simplifica hacer solicitudes paralelas a la API de OpenAI o Azure para completar los escenarios de los escenarios en los que uno necesita procesar una gran cantidad de indicaciones preparadas simultáneamente .

Este proyecto administra eficientemente los límites de velocidad (solicitudes RPM y Tokens TRM) e incorpora un manejo de errores robusto para optimizar el procesamiento de múltiples entradas simultáneamente. A diferencia de la implementación paralela oficial de Operai, que puede ser compleja y engorrosa para principiantes, este proyecto ofrece un enfoque simplificado y fácil de entender, utilizando bibliotecas como la tenacidad y los roscados.

Ejemplos de cuaderno

1. Análisis de sentimientos (1000 solicitudes en menos de 2 minutos)

Este cuaderno realiza un análisis de sentimientos en las oraciones del informe del auditor financiero utilizando el modelo GPT-3.5 Turbo del servicio OpenAI de Azure. El objetivo es clasificar el sentimiento de cada oración como positivo, neutral o negativo. Se utiliza un subconjunto de 1000 muestras del conjunto de datos "Auditor_sentiment", disponible en Hub de Hugging Face's DataSets Hub, para este análisis. Asegúrese de ajustar los parámetros API en el archivo de configuración correspondiente

Requisitos

• Clave API de OpenAi o Azure
• Almacene la tecla API en un archivo llamado .env OPENAI_API_KEY= <your_token> o AZURE_OPENAI_API_KEY = <your_token>

Instalación

Configure un entorno virtual (macOS) como un núcleo en el cuaderno de Jupyter instalando los paquetes requeridos para comenzar con este proyecto:

python -m venv myenv

source myenv/bin/activate

pip install -r requirements.txt

python -m ipykernel install --user --name=myenv --display-name= " Python 3.11 (myenv) "

Características clave

• ThreadPoolExecutor: administra múltiples solicitudes en paralelo, mejorando el tiempo de respuesta.
• Semaphore: controla la tasa de llamadas API para cumplir con los límites de velocidad.
• Mecanismo de reintento: maneja los errores intermitentes de manera efectiva al volver a intentar automáticamente las solicitudes fallidas.
• Manejo de errores personalizados: proporciona un mecanismo de respaldo que desencadena después de que todos los intentos de reintento fallaran, lo que permite que el proceso continúe sin problemas a pesar de los errores.

Proyectos relacionados

Mientras que otros proyectos proporcionan mecanismos para interactuar con la API de OpenAI, este proyecto utiliza bibliotecas como la tenacidad y el enhebrado, centrándose en la simplicidad y la facilidad de uso, especialmente para los usuarios nuevos a la informática paralela.

Este script OpenAI-Cookbook/ejemplos/api_request_parallel_processor.py es bien adecuado para realizar solicitudes paralelas a la API de OpenAI. Sin embargo, puede ser complejo y engorroso para los escenarios en los que uno solo quiere enviar muchas indicaciones que ya están preparadas simultáneamente. Este proyecto tiene como objetivo optimizar y simplificar ese proceso.

Créditos

Un agradecimiento especial al Instituto Max Planck para el Desarrollo Humano, Centro de Humanos y Máquinas por proporcionar el punto final API de OpenAI y Azure que facilitó el desarrollo de este proyecto.

Para obtener más información sobre su trabajo e investigación adicional, visite su GitHub y su sitio web oficial.