LoraCSE

? Loracse: Pembelajaran kontras dari kalimat kalimat menggunakan lora

Proyek Akhir EECS 487: Pengantar Pemrosesan Bahasa Alami (UMICH)

Autor: Yilin Jia, Sikai LI, Yuqi Mai

Tanggal: 18 April, 2023

Instruksi

Proyek ini melibatkan mengevaluasi kinerja model Loracse melalui serangkaian percobaan. Inilah cara mengakses dan menjalankan kode:

• Buka notebook loracse.ipynb untuk melihat dan menjalankan kode untuk semua percobaan.
• Ikuti instruksi yang disediakan di notebook untuk menjalankan percobaan menggunakan GPU Anda dan lihat hasilnya.
• Setelah menjalankan percobaan, lihat file loracse.pdf yang menyertainya untuk analisis terperinci dari hasil.

Analisis yang disediakan di Loracse.pdf menawarkan wawasan tentang kinerja model Loracse dan kemampuannya untuk menangani berbagai jenis data. Gunakan informasi ini untuk meningkatkan akurasi model untuk kasus penggunaan spesifik Anda.

Pertunjukan

Model	Rata -rata. STS
Sup-Loracse-Bert-Base (ukuran batch 512)	81.55
Sup-Loracse-Roberta-Base (ukuran batch 512)	82.49
Sup-Loracse-Roberta-Large (ukuran batch 375)	84.69

Persyaratan

Untuk menjalankan percobaan, yang melibatkan pemrosesan sejumlah besar data dengan ukuran batch 512, GPU Anda harus memiliki setidaknya 40GB RAM. Berikut adalah GPU yang kompatibel:

• V100
• A6000
• A40
• RTX3090 (empat diperlukan)

Dalam percobaan ini, kami menggunakan empat A40.

Ucapan Terima Kasih

Kami ingin mengakui proyek -proyek berikut atas kontribusi mereka terhadap pekerjaan kami:

• SIMCSE: Kode kami telah belajar banyak dari implementasi dan ide -ide yang disajikan dalam repositori ini.
• PEFT: Kami telah menggunakan beberapa fungsi yang disediakan oleh perpustakaan ini untuk meningkatkan kinerja kode kami.

Kami berterima kasih kepada kontributor proyek -proyek ini karena berbagi pengetahuan dan keahlian mereka dengan masyarakat.

Pekerjaan di masa depan

• Pelajari dan gunakan Adalora untuk menyetel.
• Mempercepat pelatihan dan evaluasi.
• Cobalah untuk menyetel debertv3.
• Unggah model ke Huggingface.