Qwen Qlora ACSA

多次元感情分析タスク

私たちの仕事は、18次元で各レストランのレビューテキストの感情的な傾向を決定することです。これらの18の寸法は次のとおりです。

• 場所＃輸送
• 場所＃ダウンタウン
• 場所＃easy_to_find
• サービス＃キュー
• サービス＃ホスピタリティ
• サービス＃駐車場
• サービス＃タイムリー
• 価格＃レベル
• 価格＃cost_effective
• 価格＃割引
• 雰囲気＃装飾
• 雰囲気＃ノイズ
• 雰囲気＃スペース
• 雰囲気＃衛生
• 食べ物＃部分
• 食べ物＃味
• 食べ物＃外観

データセットとメトリックについて詳しく知りたい場合は、https：//github.com/meituan-dianping/asapを参照してください。

環境セットアップとQlora微調整

私のデバイス：Linux、Pytorch2.0.1+Cu118、A100

1. 開始する前に、XTUNERライブラリを最初にインストールしてください：

 mkdir -p /root/xtuner0117 && cd /root/xtuner0117

# Pull the source code of version 0.1.17
git clone -b v0.1.17  https://github.com/InternLM/xtuner

# Users who cannot access github please pull from gitee:
# git clone -b v0.1.15 https://gitee.com/Internlm/xtuner

# Enter the source code directory
cd /root/xtuner0117/xtuner

# Install XTuner from source
pip install -e '.[all]'

2. XTUNERライブラリのサポートを受けて、次の微調整命令を実行して、QloraおよびQWenモデルの構成ファイルをマージします。

 xtuner train qwen_1.8B_qlora_ASCA.py --deepspeed deepspeed_zero2 # Add deepspeed to accelerate training

xtuner convert pth_to_hf qwen_1.8B_qlora_ASCA.py
./work_dirs/qwen_1.8B_qlora_ASCA/iter_1803.pth ./hf

# Merge qlora files to generate fine-tuned qwen model
xtuner convert merge ./qwen/Qwen1.5-1.8B ./hf Qwen-1.5-1.8B-ASCA --max-shard-size 2GB

# Remove intermediate products
rm -rf ./hf

推論

推論を実行する場合は、現在のフォルダーが配置されているディレクトリのシステム端末でpython main.pyを実行するだけです。関連する環境を正しく構成すると、正常に実行されます。 18次元のすべてのテストセットの平均精度は86.1％に達しました。