Title Generator with LLM PEFT

Judul Generator dengan LLM & PEFT (LORA)

[UPDATE]: LLAMA2 yang disempurnakan dengan Qlora akan segera ditambahkan!

Proyek ini bertujuan untuk menghasilkan judul dari abstrak yang diberikan untuk artikel akademik. Model disetel dengan PEFT menggunakan dataset ARXIV. Dua model yang berbeda disetel dengan Lora (Hu et al., 2021). Hanya artikel dalam kategori ilmu komputer yang dipilih dalam dataset ARXIV . Jumlah ini juga telah dikurangi karena batasan memori dan waktu. Model yang disempurnakan tersedia melalui ruang pelukan:

• Huggingface Spaces Bart
• Huggingface Spaces T5

Proyek ini meliputi:

• Metode adaptasi peringkat rendah (LORA)
• Parameter Efisien Fine Tuning (PEFT)
• Pelatihan Model Huggingface (T5-BASE, BART-BASE)
• Metrik Evaluasi Rouge Score
• One-shot, evaluasi zero-shot dan penambahan instruksi prompt
• Model menggabungkan dan mengunggah ke huggingface
• Log pelacakan, penggunaan memori, waktu berlalu untuk preprocessing, pelatihan, proses evaluasi, visualisasi pelatihan/kehilangan pengujian
• EDA dan skrip untuk memfilter Dataset ARXIV dengan hanya artikel Computer Science (CS).
• Memfilter dan mengonversi dataset .json ke format .csv

Perpustakaan dan Paket Eksternal:

• Obor
• Huggingface
• Transformer
• Bitsandbytes
• Peft
• Mempercepat
• Evaluasi (Skor Rouge)
• Loralb
• Trl
• Panda, numpy, matplotlib, tqdm, waktu

Parameter dan Keterbatasan Pelatihan

• 6000 sampel pelatihan, 1000 sampel validasi, 250 sampel uji disaring dari dataset.
• (Jumlah makalah terkait CS adalah 299131.
• Model dilatih untuk 6 zaman.
• Lora perhatian R=8 , alpha=64 , dropout=0.01 , learning rate=2e-4 , paged_adamW_32bit optimizer

Hasil

Bart yang disesuaikan

• Memory di -cache: 11.2 GB
• Waktu Pelatihan: 11423.89 s

T5 yang disempurnakan

• Memory di -cache: 13.7 GB
• Waktu Pelatihan: 9793.74 s

Output BART yang disesuaikan

	Judul asli	Judul yang dihasilkan
1	Sirkuit kuantum untuk sistem kuantum yang sangat berkorelasi	Simulasi kuantum dari banyak orang Hamilton yang sangat berkorelasi
2	Teko: Jaringan saraf grafik yang kaya teks dengan pengetahuan eksternal	Jaringan saraf grafik yang kaya teks dengan pengetahuan eksternal
3	Kargo: penyimpanan terkompresi bebas format yang efektif dari informasi genomik	Kargo: pengarsipan terkompresi untuk genomik
4	Kontrol Daya Hemat Energi dari Komunikasi Gelombang MMWave untuk	Efisiensi energi komunikasi gelombang MMWave untuk kereta berkecepatan tinggi
5	Survei tentang Bias dalam Penelitian Pembelajaran Mesin	Memahami sumber dan konsekuensi dari bias dalam pembelajaran mesin
6	SA-UNET: Perhatian Spasial U-Net untuk Segmentasi Pembuluh Retina	Perhatian Spasial U-Net: Perhatian spasial untuk penyakit yang berhubungan dengan mata
7	Algoritma heuristik baru untuk segmentasi k cepat	Algoritma heuristik novel untuk segmentasi k
8	Kemajuan dan Tantangan IoT dalam perawatan kesehatan: Tinjauan singkat	Smart Healthcare and Healthcare: Analisis Komparatif Kesehatan dan Keamanan Cerdas
9	FVC: Kerangka kerja baru Menuju Kompresi Video Deep di Fitur Ruang	Kompresi video ruang fitur untuk pengkodean video berbasis pembelajaran

Tangkapan layar

• BART Pelatihan/Kehilangan Pengujian (6 Zaman)

• T5 Pelatihan/Kehilangan Pengujian (6 Epochs)