Qwen Qlora ACSA

多維情感分析任務

我們的任務是確定每個餐廳評論文本的情感趨勢。這18個維度是：

• 位置＃運輸
• 位置＃市區
• 位置＃easy_to_find
• 服務＃隊列
• 服務＃酒店
• 服務＃停車
• 服務＃及時
• 價格＃級別
• 價格＃cost_effective
• 價格＃折扣
• 氛圍＃裝飾
• 氛圍＃噪音
• 氛圍＃空間
• 氛圍＃衛生
• 食物＃部分
• 食物＃味道
• 食物＃外觀

如果您想了解有關數據集和指標的更多信息，請參見https://github.com/meituan-dianping/asap

環境設置和Qlora微調

我的設備：Linux，Pytorch2.0.1+Cu118，A100

1. 開始之前，請先安裝Xtuner庫：

 mkdir -p /root/xtuner0117 && cd /root/xtuner0117

# Pull the source code of version 0.1.17
git clone -b v0.1.17  https://github.com/InternLM/xtuner

# Users who cannot access github please pull from gitee:
# git clone -b v0.1.15 https://gitee.com/Internlm/xtuner

# Enter the source code directory
cd /root/xtuner0117/xtuner

# Install XTuner from source
pip install -e '.[all]'

2. 在Xtuner庫的支持下，執行以下微調說明，以合併Qlora和Qwen模型配置文件：：

 xtuner train qwen_1.8B_qlora_ASCA.py --deepspeed deepspeed_zero2 # Add deepspeed to accelerate training

xtuner convert pth_to_hf qwen_1.8B_qlora_ASCA.py
./work_dirs/qwen_1.8B_qlora_ASCA/iter_1803.pth ./hf

# Merge qlora files to generate fine-tuned qwen model
xtuner convert merge ./qwen/Qwen1.5-1.8B ./hf Qwen-1.5-1.8B-ASCA --max-shard-size 2GB

# Remove intermediate products
rm -rf ./hf

推理

如果要執行推斷，則只需要在當前文件夾所在的目錄中的系統終端中執行python main.py即可。如果正確配置相關環境，則將成功運行。所有測試集的平均準確性在18個維度中達到86.1％。