Qwen Qlora ACSA

Tugas analisis sentimen multidimensi

Tugas kami adalah menentukan kecenderungan emosional setiap teks ulasan restoran dalam 18 dimensi. 18 dimensi ini adalah:

• Lokasi#Transportasi
• Lokasi#Downtown
• Lokasi#easy_to_find
• Layanan#Antrian
• Layanan#Perhotelan
• Layanan#Parkir
• Layanan#tepat waktu
• Level harga#
• Harga#cost_effective
• Harga#Diskon
• Suasana#dekorasi
• Suasana#Noise
• Suasana#Ruang
• Suasana#Sanitasi
• Porsi#makanan
• Makanan#rasanya
• Makanan#Penampilan

Jika Anda ingin tahu lebih banyak tentang dataset dan metrik, lihat https://github.com/meituan-dianping/asap

Pengaturan Lingkungan & Fine-tuning Qlora

Perangkat saya ： Linux ， pytorch2.0.1+Cu118, A100

1. Sebelum memulai, silakan instal Perpustakaan Xtuner terlebih dahulu:

 mkdir -p /root/xtuner0117 && cd /root/xtuner0117

# Pull the source code of version 0.1.17
git clone -b v0.1.17  https://github.com/InternLM/xtuner

# Users who cannot access github please pull from gitee:
# git clone -b v0.1.15 https://gitee.com/Internlm/xtuner

# Enter the source code directory
cd /root/xtuner0117/xtuner

# Install XTuner from source
pip install -e '.[all]'

2. Dengan dukungan dari Pustaka Xtuner, jalankan instruksi fine-tuning berikut untuk menggabungkan file konfigurasi model Qlora dan Qwen ：

 xtuner train qwen_1.8B_qlora_ASCA.py --deepspeed deepspeed_zero2 # Add deepspeed to accelerate training

xtuner convert pth_to_hf qwen_1.8B_qlora_ASCA.py
./work_dirs/qwen_1.8B_qlora_ASCA/iter_1803.pth ./hf

# Merge qlora files to generate fine-tuned qwen model
xtuner convert merge ./qwen/Qwen1.5-1.8B ./hf Qwen-1.5-1.8B-ASCA --max-shard-size 2GB

# Remove intermediate products
rm -rf ./hf

Kesimpulan

Jika Anda ingin melakukan inferensi, Anda hanya perlu menjalankan python main.py di terminal sistem di direktori di mana folder saat ini berada. Jika Anda mengkonfigurasi lingkungan yang relevan dengan benar, Anda akan berjalan dengan sukses. Akurasi rata -rata semua set tes dalam 18 dimensi mencapai 86,1%.