Qwen Qlora ACSA

Mehrdimensionale Stimmungsanalyseaufgaben

Unsere Aufgabe ist es, die emotionale Tendenz jedes Restaurants in 18 Dimensionen zu bestimmen. Diese 18 Dimensionen sind:

• Standort#Transport
• Lage#Downtown
• Ort#Easy_to_find
• Service#Warteschlange
• Service#Gastfreundschaft
• Service#Parken
• Service#rechtzeitig
• Preis#Niveau
• Preis#cost_effective
• Preis#Rabatt
• Ambiente#Dekoration
• Ambiente#Lärm
• Ambiente#Raum
• Ambiente#Sanitär
• Essen#Portion
• Essen#Geschmack
• Essen#Aussehen

Wenn Sie mehr über den Datensatz und die Metriken erfahren möchten

Umwelteinstellungen und Qlora-Feinabstimmungen

Mein Gerät: Linux ， Pytorch2.0.1+Cu118, A100

1. Bitte installieren Sie vor dem Start die Xtuner Library zuerst:

 mkdir -p /root/xtuner0117 && cd /root/xtuner0117

# Pull the source code of version 0.1.17
git clone -b v0.1.17  https://github.com/InternLM/xtuner

# Users who cannot access github please pull from gitee:
# git clone -b v0.1.15 https://gitee.com/Internlm/xtuner

# Enter the source code directory
cd /root/xtuner0117/xtuner

# Install XTuner from source
pip install -e '.[all]'

2. Führen Sie mit der Unterstützung der Xtuner-Bibliothek die folgenden Feinabstimmungsanweisungen aus, um die Konfigurationsdateien Qlora und QWEN zu verschmelzen:

 xtuner train qwen_1.8B_qlora_ASCA.py --deepspeed deepspeed_zero2 # Add deepspeed to accelerate training

xtuner convert pth_to_hf qwen_1.8B_qlora_ASCA.py
./work_dirs/qwen_1.8B_qlora_ASCA/iter_1803.pth ./hf

# Merge qlora files to generate fine-tuned qwen model
xtuner convert merge ./qwen/Qwen1.5-1.8B ./hf Qwen-1.5-1.8B-ASCA --max-shard-size 2GB

# Remove intermediate products
rm -rf ./hf

Schlussfolgerung

Wenn Sie Inferenz durchführen möchten, müssen Sie nur python main.py im Systemterminal im Verzeichnis ausführen, in dem sich der aktuelle Ordner befindet. Wenn Sie die relevante Umgebung korrekt konfigurieren, werden Sie erfolgreich ausgeführt. Die durchschnittliche Genauigkeit aller Testsätze in 18 Dimensionen erreichte 86,1%.