Parallel LLM API Requester

Handler des demandes parallèles d'Openai

Ce projet simplifie la création de demandes parallèles à l'API OpenAI ou Azure pour les compléments de chat des scénarios où l'on doit traiter simultanément un grand nombre d'invites préparées .

Ce projet gère efficacement les limites de taux (demande RPM & Tokens Trm) et intègre une gestion des erreurs robuste pour rationaliser simultanément le traitement de plusieurs entrées. Contrairement à l'implémentation officielle d'Openai Parallel, qui peut être complexe et lourde pour les débutants, ce projet offre une approche simplifiée et facile à comprendre, en utilisant des bibliothèques telles que la ténacité et le thread.

Exemples de cahiers

1. Analyse des sentiments (1000 demandes en moins de 2 minutes)

Ce cahier effectue une analyse des sentiments sur les phrases du rapport auditeur financier à l'aide du modèle GPT-3.5 Turbo du service OpenAI d'Azure. L'objectif est de classer le sentiment de chaque phrase comme positif, neutre ou négatif. Un sous-ensemble de 1000 échantillons de l'ensemble de données "Auditor_Sentiment", disponible sur Hugging Face's DataSets Hub, est utilisé pour cette analyse. Assurez-vous d'ajuster les paramètres de l'API dans le fichier de configuration correspondant

Exigences

• Clé API d'Openai ou Azure
• Stockez la touche API dans un fichier nommé .env OPENAI_API_KEY= <your_token> ou AZURE_OPENAI_API_KEY = <your_token>

Installation

Configurez un environnement virtuel (macOS) en tant que noyau dans Jupyter Notebook en installant les packages requis pour démarrer avec ce projet:

python -m venv myenv

source myenv/bin/activate

pip install -r requirements.txt

python -m ipykernel install --user --name=myenv --display-name= " Python 3.11 (myenv) "

Caractéristiques clés

• ThreadPoolExecutor: gère plusieurs demandes en parallèle, améliorant le temps de réponse.
• Semaphore: contrôle le taux des appels d'API pour se conformer aux limites de taux.
• RETRUIRE MÉCANISME: gère efficacement les erreurs intermittentes en réessayant automatiquement les demandes d'échec.
• Gestion des erreurs personnalisées: fournit un mécanisme de secours qui déclenche une fois que toutes les tentatives de réessayer échouent, permettant au processus de se poursuivre en douceur malgré les erreurs.

Projets connexes

Alors que d'autres projets fournissent des mécanismes pour interagir avec l'API d'OpenAI, ce projet utilise des bibliothèques telles que la ténacité et le threading, en se concentrant sur la simplicité et la facilité d'utilisation, en particulier pour les utilisateurs nouveaux dans l'informatique parallèle.

Ce script Openai-Cookbook / Exemples / API_REQUEST_PARALLEAL_PROCESSOR.py est bien adapté pour faire des demandes parallèles à l'API OpenAI. Cependant, il peut être complexe et lourd pour les scénarios où l'on veut simplement envoyer de nombreuses invites qui sont déjà préparées simultanément. Ce projet vise à rationaliser et à simplifier ce processus.

Crédits

Un merci spécial au Max Planck Institute for Human Development, Center for Humans & Machines d'avoir fourni le point de terminaison Openai et Azure API qui a facilité le développement de ce projet.

Pour plus d'informations sur leur travail et leurs recherches plus approfondies, veuillez visiter leur github et leur site officiel.