Parallel LLM API Requester

Обработчик параллельных запросов Openai

Этот проект упрощает выполнение параллельных запросов с API OpenAI или Azure для завершения чата сценариев, где необходимо одновременно обработать большое количество подготовленных подсказок .

Этот проект эффективно управляет ограничениями скорости (запросы RPM и Tokens TRM) и включает в себя надежную обработку ошибок для оптимизации обработки нескольких входов одновременно. В отличие от официальной параллельной реализации OpenAI, которая может быть сложной и обременительной для начинающих, этот проект предлагает упрощенный, простой в понимание подход, используя такие библиотеки, как упорство и резьба.

Примеры ноутбука

1. Анализ настроений (1000 запросов менее чем за 2 минуты)

Эта записная книжка выполняет анализ настроений по предложениям отчета о финансовом аудиторе с использованием модели GPT-3.5 Turbo из Azure Openai Service. Цель состоит в том, чтобы классифицировать настроение каждого предложения как положительное, нейтральное или отрицательное. Для этого анализа используется подмножество из 1000 образцов из набора данных «Auditor_sentiment», доступным в центре наборов данных Hugging Face Face. Обязательно настройте параметры API в соответствующем файле конфигурации

Требования

• API -ключ из OpenAI или Azure
• Храните ключ API в файле с именем .env OPENAI_API_KEY= <your_token> или AZURE_OPENAI_API_KEY = <your_token>

Установка

Установите виртуальную среду (MacOS) в качестве ядра в ноутбуке Юпитера, установив необходимые пакеты для начала работы с этим проектом:

python -m venv myenv

source myenv/bin/activate

pip install -r requirements.txt

python -m ipykernel install --user --name=myenv --display-name= " Python 3.11 (myenv) "

Ключевые функции

• ThreadPoolexeCutor: управляет несколькими запросами параллельно, улучшая время отклика.
• Semaphore: контролирует скорость вызовов API в соответствии с ограничениями скорости.
• Механизм повторения: эффективно обрабатывает прерывистые ошибки путем автоматической повторной повторной повторной передачи запросов.
• Пользовательская обработка ошибок: обеспечивает механизм резервного перерыва, который запускает после того, как все попытки повторения не сняты, что позволяет процессу проходить плавно, несмотря на ошибки.

Связанные проекты

В то время как другие проекты предоставляют механизмы взаимодействия с API Openai, в этом проекте используются такие библиотеки, как упорство и потоки, сосредоточенность на простоте и простоте использования, особенно для пользователей, новых для параллельных вычислений.

Этот скрипт Openai-Cookbook/Примеры/API_REQUEST_PARALLEL_PROCORSOR.PY хорошо подходит для выполнения параллельных запросов для API OpenAI. Тем не менее, это может быть сложным и громоздким для сценариев, когда кто -то хочет просто отправить много подсказок, которые уже подготовлены одновременно. Этот проект направлен на то, чтобы упростить и упростить этот процесс.

Кредиты

Особая благодарность Институту человеческого развития Макса Планка, Центру людей и машин за предоставление конечной точки API OpenAI и Azure, которая способствовала разработке этого проекта.

Для получения дополнительной информации об их работе и дальнейших исследованиях, пожалуйста, посетите их GitHub и официальный сайт.