advances in ai 2024

Sekolah Musim Panas Internasional di ADMAGING DI AI

Model Bahasa Besar dan Cara Instruksi Menyetelnya (dengan cara yang berkelanjutan)

Penulis : Danilo Croce

Terima kasih banyak kepada: Claudiu Daniel Hromei yang telah mendukung pengembangan kode (sebagian besar)

Repositori ini menyelenggarakan bahan -bahan dari kuliah yang diadakan di sekolah musim panas dan beragam di AI 2024 yang diselenggarakan oleh Aixia.

Tujuan dari kuliah ini adalah:

• Memperkenalkan arsitektur berbasis transformator , termasuk penyandian pengkodean, hanya encoder, dan struktur decoder saja.
• Tunjukkan penyesuaian model bahasa besar (LLM) pada beragam kumpulan data dalam kerangka kerja multi-tugas.
• Memanfaatkan adaptasi rendah (LORA) untuk penyetelan yang berkelanjutan dan efisien pada perangkat keras "sederhana" (misalnya, GPU RAM 16GB tunggal).

Repositori mencakup kode untuk menyempurnakan model bahasa besar (berdasarkan LLAMA) untuk menyelesaikan tugas NLP, seperti yang diusulkan dalam Evalita 2023.

Kode

Lab: Fine-Tune Model berbasis Llama untuk semua tugas dari Evalita 2023

Pada akhirnya, kuliah ini menunjukkan cara mengkodekan data dari berbagai tugas ke dalam petunjuk tertentu dan menyempurnakan LLM menggunakan Q-Lora. Kode ini juga dapat digunakan di Google Colab menggunakan GPU NVIDIA-T4 dengan memori 15GB.

Kode ini sangat didasarkan pada yang digunakan dalam sistem Extremita yang berpartisipasi untuk evalita 2023:

• Kertas ekstremita
• Kode Github Ekstremita

Proses keseluruhan dibagi dalam empat langkah:

• Langkah 1 - Pengkodean Data : Ini menunjukkan cara menyandikan data dari tugas evalita untuk menghasilkan petunjuk untuk LLM
• Langkah 2-Menyempurnakan Model Llama : Ini menunjukkan cara menyempurnakan LLMS yang diberikan petunjuk
• Langkah 3 - Inferensi: Menghasilkan Jawaban : Ini menunjukkan cara menggunakan model yang disesuaikan
• Langkah 4 - Disconding Data : Ini menunjukkan cara mengonversi data yang akan dievaluasi dalam tantangan evalta

Slide

Repositori juga menampilkan slide (tautan).

Latihan

Sebuah latihan diusulkan dalam slide terakhir presentasi.

Kontak

Untuk pertanyaan atau saran, angkat masalah di repositori ini atau kirim email ke [email protected]