Parallel LLM API Requester

OpenAI Parallele Anfragen Handler

Dieses Projekt vereinfacht die Erstellung paralleler Anfragen an die OpenAI- oder Azure -API für Chat -Abschlüsse von Szenarien, in denen man eine große Anzahl vorbereiteter Eingabeaufforderungen gleichzeitig stapeln muss.

Dieses Projekt verwaltet effizient Tarifgrenzwerte (fordert RPM & Tokens TRM) und beinhaltet eine robuste Fehlerbehandlung, um die Verarbeitung mehrerer Eingaben gleichzeitig zu optimieren. Im Gegensatz zur offiziellen OpenAI-Parallelimplementierung, die für Anfänger komplex und umständlich sein kann, bietet dieses Projekt einen vereinfachten, leicht verständlichen Ansatz unter Verwendung von Bibliotheken wie Hartnäckigkeit und Threading.

Beispiele für Notebooks

1. Stimmungsanalyse (1000 Anfragen in weniger als 2 Minuten)

Dieses Notebook führt die Sorgfalt der Sätze für Finanzprüfer mit dem GPT-3.5 Turbo Modell aus dem OpenAI-Service von Azure durch. Ziel ist es, das Gefühl jedes Satzes als positiv, neutral oder negativ zu kategorisieren. Für diese Analyse wird eine Untergruppe von 1000 Beispielen aus dem Datensatz "Auditor_Sentiment" verwendet, der auf dem Datensätzen von Hugging Face verfügbar ist. Stellen Sie sicher, dass Sie die API -Parameter in der entsprechenden Konfigurationsdatei einstellen

Anforderungen

• API -Schlüssel von OpenAI oder Azure
• Speichern Sie die API -Taste in einer Datei namens .env OPENAI_API_KEY= <your_token> oder AZURE_OPENAI_API_KEY = <your_token>

Installation

Richten Sie eine virtuelle Umgebung (MACOS) als Kernel in Jupyter Notebook ein, indem Sie die erforderlichen Pakete installieren, um mit diesem Projekt zu beginnen:

python -m venv myenv

source myenv/bin/activate

pip install -r requirements.txt

python -m ipykernel install --user --name=myenv --display-name= " Python 3.11 (myenv) "

Schlüsselmerkmale

• ThreadPoolexecutor: Verwaltet mehrere Anfragen parallel und verbessert die Reaktionszeit.
• Semaphor: Kontrolliert die Rate der API -Aufrufe, um die Zinstrimits einzuhalten.
• Wiederholungsmechanismus: Griff intermittierende Fehler effektiv durch automatische Wiederholung fehlgeschlagener Anforderungen.
• Benutzerdefinierte Fehlerbehandlung: Bietet einen Fallback -Mechanismus, der nach dem Wiederholungsversuchen ausgelöst wird, sodass der Prozess trotz Fehlern reibungslos verläuft.

Verwandte Projekte

Während andere Projekte Mechanismen für die Interaktion mit der OpenAI -API bieten, nutzt dieses Projekt Bibliotheken wie Hartnäckigkeit und Threading, wobei sie sich auf Einfachheit und Benutzerfreundlichkeit konzentrieren, insbesondere für Benutzer, die neu in Parallel Computing sind.

Dieses Skript OpenAI-COOKBOOK/Beispiele/api_request_parallel_processor.py eignet sich gut für parallele Anforderungen an die OpenAI-API. Es kann jedoch komplex und umständlich für Szenarien sein, in denen man nur viele Eingabeaufforderungen senden möchte, die bereits gleichzeitig vorbereitet sind. Dieses Projekt zielt darauf ab, diesen Prozess zu optimieren und zu vereinfachen.

Credits

Besonderer Dank geht an das Max -Planck -Institut für menschliche Entwicklung, Zentrum für Menschen und Maschinen für die Bereitstellung des OpenAI- und Azure -API -Endpunkts, der die Entwicklung dieses Projekts erleichterte.

Weitere Informationen zu ihrer Arbeit und weiteren Nachforschungen finden Sie auf der Website von GitHub und offizieller Website.