Parallel LLM API Requester

Openai Paralel Permintaan Penangan

Proyek ini menyederhanakan membuat permintaan paralel ke OpenAi atau Azure API untuk menyelesaikan skenario obrolan di mana orang perlu memproses sejumlah besar petunjuk yang disiapkan secara bersamaan .

Proyek ini secara efisien mengelola batas tingkat (meminta RPM & token TRM) dan menggabungkan penanganan kesalahan yang kuat untuk merampingkan pemrosesan beberapa input secara bersamaan. Berbeda dengan implementasi paralel OpenAI resmi, yang bisa rumit dan rumit untuk pemula, proyek ini menawarkan pendekatan yang disederhanakan dan mudah dipahami, menggunakan perpustakaan seperti keuletan dan threading.

Contoh buku catatan

1. Analisis sentimen (1000 permintaan dalam waktu kurang dari 2 menit)

Buku catatan ini melakukan analisis sentimen pada kalimat laporan auditor keuangan menggunakan model GPT-3.5 Turbo dari layanan OpenAI Azure. Tujuannya adalah untuk mengkategorikan sentimen setiap kalimat sebagai positif, netral, atau negatif. Subset dari 1000 sampel dari dataset "Auditor_Senttiment", tersedia di Hugging Face's Datasets Hub, digunakan untuk analisis ini. Pastikan untuk menyesuaikan parameter API di file konfigurasi yang sesuai

Persyaratan

• Kunci API baik dari Openai atau Azure
• Simpan kunci API dalam file bernama .env OPENAI_API_KEY= <your_token> atau AZURE_OPENAI_API_KEY = <your_token>

Instalasi

Siapkan lingkungan virtual (macOS) sebagai kernel di jupyter notebook dengan menginstal paket yang diperlukan untuk memulai proyek ini:

python -m venv myenv

source myenv/bin/activate

pip install -r requirements.txt

python -m ipykernel install --user --name=myenv --display-name= " Python 3.11 (myenv) "

Fitur utama

• ThreadPoolExecutor: Mengelola banyak permintaan secara paralel, meningkatkan waktu respons.
• Semaphore: Mengontrol laju panggilan API untuk mematuhi batas tingkat.
• Coba lagi mekanisme: Menangani kesalahan intermiten secara efektif dengan secara otomatis mencoba kembali permintaan yang gagal.
• Penanganan Kesalahan Kustom: Menyediakan mekanisme fallback yang memicu setelah semua upaya mencoba gagal, memungkinkan proses untuk melanjutkan dengan lancar meskipun ada kesalahan.

Proyek terkait

Sementara proyek lain menyediakan mekanisme untuk berinteraksi dengan API OpenAI, proyek ini menggunakan perpustakaan seperti keuletan dan threading, fokus pada kesederhanaan dan kemudahan penggunaan, terutama bagi pengguna yang baru mengenal komputasi paralel.

Skrip ini OpenAi-Cookbook/Contoh/API_REQUEST_PARALLEL_PROCESOR.py sangat cocok untuk membuat permintaan paralel ke API OpenAI. Namun, ini bisa rumit dan rumit untuk skenario di mana seseorang hanya ingin mengirim banyak petunjuk yang sudah disiapkan secara bersamaan. Proyek ini bertujuan untuk merampingkan dan menyederhanakan proses itu.

Kredit

Terima kasih khusus kepada Max Planck Institute for Human Development, Centre for Human & Machines karena menyediakan titik akhir API Openai dan Azure yang memfasilitasi pengembangan proyek ini.

Untuk informasi lebih lanjut tentang pekerjaan mereka dan penelitian lebih lanjut, silakan kunjungi situs web github dan resmi mereka.