Parallel LLM API Requester

Manipulador de solicitações paralelas do OpenAI

Este projeto simplifica fazer solicitações paralelas à API OpenAI ou do Azure para conclusões de bate -papo de cenários em que é necessário processar um grande número de avisos preparados simultaneamente .

Este projeto gerencia com eficiência os limites da taxa (solicita RPM & Tokens TRM) e incorpora o tratamento de erros robusto para otimizar o processamento de várias entradas simultaneamente. Diferentemente da implementação paralela oficial do OpenAI, que pode ser complexa e pesada para iniciantes, este projeto oferece uma abordagem simplificada e fácil de entender, usando bibliotecas como tenacidade e rosqueamento.

Exemplos de notebooks

1. Análise de sentimentos (1000 solicitações em menos de 2 minutos)

Este notebook realiza análises de sentimentos em frases de relatório de auditor financeiro usando o modelo GPT-3.5 Turbo do serviço OpenAI do Azure. O objetivo é categorizar o sentimento de cada frase como positiva, neutra ou negativa. Um subconjunto de 1000 amostras do conjunto de dados "auditor_sentiment", disponível no hub de dados do Hugging Face, é utilizado para esta análise. Certifique -se de ajustar os parâmetros da API no arquivo de configuração correspondente

Requisitos

• Chave da API do OpenAi ou do Azure
• Armazene a chave da API em um arquivo chamado .env OPENAI_API_KEY= <your_token> ou AZURE_OPENAI_API_KEY = <your_token>

Instalação

Configure um ambiente virtual (macOS) como um kernel no Jupyter Notebook, instalando os pacotes necessários para começar com este projeto:

python -m venv myenv

source myenv/bin/activate

pip install -r requirements.txt

python -m ipykernel install --user --name=myenv --display-name= " Python 3.11 (myenv) "

Principais recursos

• ThreadpoolExecutor: gerencia várias solicitações em paralelo, melhorando o tempo de resposta.
• Semáforo: controla a taxa de chamadas de API para cumprir com os limites da taxa.
• Mecanismo de repetição: lida com erros intermitentes efetivamente, reformulando automaticamente as solicitações com falha.
• Manuseio de erros personalizado: fornece um mecanismo de fallback que aciona depois que todas as tentativas de repetição falharem, permitindo que o processo prossiga sem problemas, apesar dos erros.

Projetos relacionados

Enquanto outros projetos fornecem mecanismos para interagir com a API do OpenAI, este projeto utiliza bibliotecas como tenacidade e rosqueamento, com foco na simplicidade e na facilidade de uso, especialmente para usuários novos em computação paralela.

Este script openi-cookbook/exemplos/api_request_parallel_processor.py é adequado para fazer solicitações paralelas à API do OpenAI. No entanto, pode ser complexo e pesado para cenários em que se deseja enviar muitos avisos que já estão preparados simultaneamente. Este projeto pretende otimizar e simplificar esse processo.

Créditos

Agradecimentos especiais ao Instituto Max Planck de Desenvolvimento Humano, Centro de Humanos e Máquinas por fornecer o terminal OpenAI e Azure API que facilitou o desenvolvimento deste projeto.

Para mais informações sobre seu trabalho e pesquisas adicionais, visite o github e o site oficial.