Bitune

Bitune: Penyetelan instruksi dua arah

[ Paper ] [ Website ]

Kode sumber ini berisi implementasi Bitune, dan cukup untuk mereproduksi hasil dari kertas. Harap dicatat bahwa itu digunakan untuk mengeksplorasi berbagai ide, dan banyak komponen memiliki nama yang berbeda atau merujuk pada konsep yang tidak disebutkan dalam makalah.

Kami berencana untuk merilis repo bersih untuk Bitune dalam waktu dekat.

LM-Evaluasi-Harness

Direktori lm-evaluation-harness berisi repositori dari Eleutherai/LM-Evaluasi-Harness, disesuaikan dengan metode kami. Anda dapat menginstalnya dengan perintah berikut:

pip install -e lm-evaluation-harness

Konfigurasi

• Atur jalur absolut yang tepat ke direktori ini di file common_0.sh .
• Script evaluasi membutuhkan wandb untuk penebangan. Perbarui baris 57 dari eval.py dengan nama pengguna wandb Anda.

Skrip

• Pengaturan Instruction-Tuning : Jalankan skrip instruct.sh .
• Pelatihan Tugas Hilir : Jalankan skrip downstream.sh . Pastikan untuk mengatur jumlah langkah pembaruan yang benar (berdasarkan nilai -nilai yang disediakan dalam Lampiran), dan Batalkan Komentari baris yang sesuai untuk nama dataset, evaluasi (di bagian paling bawah), dan nama metode.
• Ablasi : Batalkan Komentari Garis untuk ablasi yang dipilih dalam ablations.sh dan jalankan skrip.

Tinjauan singkat tentang kode _^spageti

• Implementasi membutuhkan beberapa modifikasi kelas model HuggingFace, tersedia di Direktori models :
  • Modifikasi KV-Cache, sehingga menjaga grafik komputasi untuk gradien.
  • Menambahkan modul pencampuran dengan koefisien yang dapat dilatih ( pass_scale_k , pass_scale_v ).
  • Modified Attention Mask Berdasarkan Parameter enforce_bidir dari Fungsi forward() .
  • Menambahkan cuplikan kode di dalam fungsi forward() yang bertanggung jawab untuk memanggil pembungkus Bitune .
• Pembungkus Bitune ( _pass_fn() di file passes.py ):
  • Lulus prompt melalui model dua kali untuk mendapatkan dua set cache KV, sambil mengatur adaptor LORA yang tepat & masker perhatian untuk setiap umpan.
  • Panggilan Modul Pencampuran untuk menggabungkan dua set fitur ( pass_scale_k , pass_scale_v ).
  • Apakah lulus terakhir pada jawaban (dalam kasus pelatihan), atau menghasilkan token jawaban pertama (untuk inferensi). Dalam kasus generasi token lebih lanjut, pembungkus bitune tidak dipanggil sama sekali, karena cache KV prompt sudah diperoleh dan disimpan, sehingga generasi berlanjut seperti dalam model yang tidak dimodifikasi.
  • Menetapkan semua parameter Lora sebagai yang dapat dilatih lagi, seperti secara default pustaka peft menetapkan adaptor tidak aktif sebagai tidak dapat dilatih.
• Modul pencampuran (kelas PassScale yang didefinisikan dalam models/think_gemma.py ):
  • Berisi koefisien yang dapat dilatih untuk mencampur dua set fitur, terpisah untuk kunci & nilai, sehingga dua koefisien per blok perhatian model.
  • Mendefinisikan fungsi forward() yang menerapkan operasi pencampuran berdasarkan varian yang ditentukan dalam config ( config.pass_type ). Metode terakhir kami ditentukan oleh varian 607 (yang digunakan untuk percobaan), dan versi 801 yang disederhanakan.

Versi perpustakaan

Versi perpustakaan berikut telah digunakan:

• transformers==4.38.2
• peft==0.11.1
• datasets==2.18.0
• evaluate==0.4.0

Bibtex

 @misc { kopiczko2024bitune ,
      title = { Bitune: Bidirectional Instruction-Tuning } ,
      author = { Dawid J. Kopiczko and Tijmen Blankevoort and Yuki M. Asano } ,
      year = { 2024 } ,
      eprint = { 2405.14862 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}