Qwen Qlora ACSA

Tâches d'analyse des sentiments multidimensionnels

Notre tâche consiste à déterminer la tendance émotionnelle de chaque texte de revue de restaurant en 18 dimensions. Ces 18 dimensions sont:

• Emplacement # Transport
• Emplacement # Downtown
• Emplacement # easy_to_find
• Service # file d'attente
• Service # hospitalité
• Service # Parking
• Service # opportun
• Niveau de prix
• Prix ​​# rentable
• Prix ​​# rabais
• Ambiance # Décoration
• Ambiance # bruit
• Ambice # espace
• Ambiance # sanitaire
• Portion de nourriture
• Nourriture # Taste
• Nourriture # apparence

Si vous voulez en savoir plus sur l'ensemble de données et les métriques, consultez https://github.com/meituan-dianping/asap

Configuration de l'environnement et dimension fine de Qlora

Mon appareil ： Linux ， Pytorch2.0.1 + Cu118, A100

1. Avant de commencer, veuillez d'abord installer la bibliothèque XTUner:

 mkdir -p /root/xtuner0117 && cd /root/xtuner0117

# Pull the source code of version 0.1.17
git clone -b v0.1.17  https://github.com/InternLM/xtuner

# Users who cannot access github please pull from gitee:
# git clone -b v0.1.15 https://gitee.com/Internlm/xtuner

# Enter the source code directory
cd /root/xtuner0117/xtuner

# Install XTuner from source
pip install -e '.[all]'

2. Avec la prise en charge de la bibliothèque XTUner, exécutez les instructions de réglage fin suivantes pour fusionner les fichiers de configuration du modèle Qlora et Qwen:

 xtuner train qwen_1.8B_qlora_ASCA.py --deepspeed deepspeed_zero2 # Add deepspeed to accelerate training

xtuner convert pth_to_hf qwen_1.8B_qlora_ASCA.py
./work_dirs/qwen_1.8B_qlora_ASCA/iter_1803.pth ./hf

# Merge qlora files to generate fine-tuned qwen model
xtuner convert merge ./qwen/Qwen1.5-1.8B ./hf Qwen-1.5-1.8B-ASCA --max-shard-size 2GB

# Remove intermediate products
rm -rf ./hf

Inférence

Si vous souhaitez effectuer une inférence, il vous suffit d'exécuter python main.py dans le terminal système dans le répertoire où se trouve le dossier actuel. Si vous configurez correctement l'environnement pertinent, vous exécuterez avec succès. La précision moyenne de tous les ensembles de test en 18 dimensions a atteint 86,1%.