ollama grid search

Pencarian Grid Ollama: Secara instan mengevaluasi beberapa LLM dan petunjuk.

Proyek ini mengotomatiskan proses pemilihan model, permintaan, atau parameter inferensi terbaik untuk kasus penggunaan yang diberikan, memungkinkan Anda untuk mengulangi kombinasi mereka dan untuk memeriksa hasilnya secara visual.

Diasumsikan Ollama diinstal dan menyajikan titik akhir, baik di localhost atau di server jarak jauh.

Inilah yang merupakan percobaan untuk prompt sederhana, diuji pada 3 model yang berbeda, terlihat seperti:

(Untuk tampilan yang lebih mendalam pada proses evaluasi yang dibantu oleh alat ini, silakan periksa https://dezoito.github.io/2023/12/27/rust-ollama-grid-search.html).

Daftar isi

• Instalasi
• Fitur
• Konsep Pencarian Kisi
• Pengujian A/B.
• Arsip cepat
• Log percobaan
• Fitur masa depan
• Berkontribusi
• Perkembangan
• Kutipan
• Ucapan Terima Kasih

Instalasi

Periksa halaman Rilis untuk proyek, atau di bilah sisi.

Fitur

• Secara otomatis mengambil model dari server Ollama lokal atau jarak jauh;
• Mengulangi beberapa model, permintaan dan parameter yang berbeda untuk menghasilkan kesimpulan;
• A/B menguji permintaan yang berbeda pada beberapa model secara bersamaan;
• Memungkinkan beberapa iterasi untuk setiap kombinasi parameter;
• Memungkinkan panggilan konkurensi atau inferensi sinkron terbatas (untuk mencegah server spam);
• Opsional output parameter inferensi dan metadata respons (waktu inferensi, token dan token/s);
• Mengulangi panggilan inferensi individu;
• Pilihan model dapat disaring berdasarkan nama;
• Daftar eksperimen yang dapat diunduh dalam format JSON;
• Eksperimen dapat diperiksa dalam pandangan yang dapat dibaca;
• Menjalankan kembali eksperimen masa lalu, mengkloning atau memodifikasi parameter yang digunakan di masa lalu;
• Batas waktu inferensi yang dapat dikonfigurasi;
• Parameter default khusus dan prompt sistem dapat didefinisikan dalam pengaturan
• Database prompt yang berfungsi penuh dengan contoh;
• Prompt dapat dipilih dan "dilengkapi secara otomatis" dengan mengetik "/" di input

Pencarian kisi (atau yang serupa ...)

Secara teknis, istilah "pencarian grid" mengacu pada iterasi pada serangkaian hyperparam model yang berbeda untuk mengoptimalkan kinerja model, tetapi itu biasanya berarti parameter seperti batch_size , learning_rate , atau number_of_epochs , lebih umum digunakan dalam pelatihan.

Tapi konsepnya di sini serupa:

Mari kita tentukan pilihan model, kombinasi prompt dan beberapa parameter:

Prompt akan dikirimkan sekali untuk setiap nilai parameter, untuk masing -masing model yang dipilih, menghasilkan satu set respons.

Pengujian A/B.

Demikian pula, Anda dapat melakukan tes A/B dengan memilih model yang berbeda dan membandingkan hasil untuk kombinasi prompt/parameter yang sama, atau menguji permintaan yang berbeda di bawah konfigurasi yang sama:

Membandingkan hasil yang berbeda untuk model yang sama

Arsip cepat

Anda dapat menyimpan dan mengelola petunjuk Anda (kami ingin membuat prompt yang kompatibel dengan WebUI terbuka)

Anda dapat meminta secara otomatis dengan mengetik "/" (terinspirasi oleh webui terbuka, juga):

Log percobaan

Anda dapat mendaftar, memeriksa, atau mengunduh eksperimen Anda:

Fitur masa depan

• Hasil penilaian dan penyaringan berdasarkan nilai
• Mengimpor, mengekspor dan berbagi daftar prompt dan file percobaan.

Berkontribusi

• Untuk bug yang jelas dan kesalahan ejaan, silakan dan kirimkan PR.

• Jika Anda ingin mengusulkan fitur baru, mengubah fungsionalitas yang ada, atau mengusulkan sesuatu yang lebih kompleks, buka masalah untuk diskusi, sebelum menyelesaikan pekerjaan pada PR.

Perkembangan

1. Pastikan Anda telah dipasang karat.

2. Klon Repositori (atau garpu)

git clone https://github.com/dezoito/ollama-grid-search.git
cd ollama-grid-search

3. Pasang dependensi frontend.

    cd < project root >
   # I'm using bun to manage dependencies,
   # but feel free to use yarn or npm
   bun install

4. Pastikan rust-analyzer dikonfigurasi untuk menjalankan Clippy saat memeriksa kode.

   Jika Anda menjalankan vs code, tambahkan ini ke file settings.json Anda

   {
      ...
      "rust-analyzer.check.command" : " clippy " ,
   }

   (Atau, lebih baik lagi, cukup gunakan file pengaturan yang disediakan dengan kode)

5. Jalankan aplikasi dalam mode pengembangan

    cd < project root > /
   bun tauri dev

6. Ambil secangkir kopi karena ini mungkin memakan waktu cukup lama.

Kutipan

Karya dan tesis berikut telah mengutip repositori ini:

Inouye, D & Lindo, L, & Lee, R & Allen, E; Ilmu Komputer dan Teknik Senior Tesis: Tuning Otomatis Terapan di Lora Hyperparameters Santa Clara University, 2024 https://scholarcommons.scu.edu/cgi/viewcontent.cgi?article=1271&context=cseng_senior

Terima kasih!

Terima kasih banyak untuk @Fabianlars, @peperroni21 dan @tomreidnz.