promptolution

Promptolusi

Promptolution adalah perpustakaan yang menyediakan kerangka kerja modular dan dapat diperluas untuk mengimplementasikan eksperimen penyetelan cepat. Ini menawarkan antarmuka yang ramah pengguna untuk merakit komponen inti untuk berbagai tugas optimisasi cepat.

Selain itu, repositori ini berisi eksperimen kami untuk makalah "menuju penyetelan cepat yang hemat biaya: mengevaluasi efek ukuran model, model keluarga dan deskripsi tugas dalam evoprompt".

Proyek ini dikembangkan oleh Timo Heiß, Moritz Schlager dan Tom Zehle.

Instalasi

Gunakan PIP untuk menginstal perpustakaan kami:

 pip install promptolution

Atau, klon repositori, jalankan

 poetry install

untuk menginstal dependensi yang diperlukan. Anda mungkin perlu menginstal PIPX dan puisi terlebih dahulu.

Dokumentasi

Dokumentasi komprehensif dengan referensi API tersedia di https://finitearth.github.io/prompolution/.

Penggunaan

Buat tombol API untuk model yang ingin Anda gunakan:

• Openai: Token Store di OpenAaitoken.txt
• Antropik: Token Store di Anthropictoken.txt
• Deepinfra (untuk llama): Token Store di DeepinFratoken.txt

Algoritma optimasi untuk dipilih

Nama	# Populasi init	Eksplorasi	Biaya	Kecepatan konvergensi	Paralelisasi	Menggunakan kasus kegagalan
Evoprompt de	8-12	?	?	⚡⚡	✅
Evoprompt GA	8-12	?	?	⚡⚡	✅
OPRO	0	?	??	⚡

Komponen inti

• Tugas: merangkum permintaan awal, fitur dataset, target, dan metode evaluasi.
• Prediktor: Mengimplementasikan logika prediksi, interfacing antara tugas dan komponen LLM.
• LLM: menyatukan proses mendapatkan tanggapan dari model bahasa, baik yang di -host atau diakses secara lokal melalui API.
• Pengoptimal: Mengimplementasikan algoritma optimasi yang cepat, menggunakan komponen lain selama proses optimasi.
• Pemilih contoh: Menerapkan algoritma untuk pencarian beberapa contoh bidikan yang ditambahkan ke prompt.

Fitur utama

• Desain modular dan berorientasi objek
• Arsitektur yang dapat diperluas
• Antarmuka yang mudah digunakan untuk merakit eksperimen
• Permintaan LLM yang diparalelkan untuk peningkatan efisiensi
• Integrasi dengan Langchain untuk panggilan API LLM standar
• Sistem logging dan panggilan balik terperinci untuk analisis optimasi

Memulai

Lihatlah Notebook Memulai Kami: Geting_Started.py

Mereproduksi eksperimen kami

Kami menyediakan skrip dan konfigurasi untuk semua percobaan kami. Jalankan eksperimen berdasarkan konfigurasi melalui:

 poetry run python scripts/experiment_runs.py --experiment "configs/<my_experiment>.ini"

di mana <my_experiment>.ini adalah konfigurasi berdasarkan templat kami.

Proyek ini dikembangkan untuk seminar "Automl di zaman model pra-terlatih besar" di LMU Munich.