Qwen Qlora ACSA
1.0.0
تتمثل مهمتنا في تحديد الاتجاه العاطفي لكل نص مراجعة المطعم في 18 بعدًا. هذه الأبعاد الـ 18 هي:
إذا كنت تريد معرفة المزيد عن مجموعة البيانات والمقاييس ، راجع https://github.com/meituan-dianping/asap
جهازي : Linux , Pytorch2.0.1+Cu118 ، A100
mkdir -p /root/xtuner0117 && cd /root/xtuner0117
# Pull the source code of version 0.1.17
git clone -b v0.1.17 https://github.com/InternLM/xtuner
# Users who cannot access github please pull from gitee:
# git clone -b v0.1.15 https://gitee.com/Internlm/xtuner
# Enter the source code directory
cd /root/xtuner0117/xtuner
# Install XTuner from source
pip install -e '.[all]'
xtuner train qwen_1.8B_qlora_ASCA.py --deepspeed deepspeed_zero2 # Add deepspeed to accelerate training
xtuner convert pth_to_hf qwen_1.8B_qlora_ASCA.py
./work_dirs/qwen_1.8B_qlora_ASCA/iter_1803.pth ./hf
# Merge qlora files to generate fine-tuned qwen model
xtuner convert merge ./qwen/Qwen1.5-1.8B ./hf Qwen-1.5-1.8B-ASCA --max-shard-size 2GB
# Remove intermediate products
rm -rf ./hf
إذا كنت ترغب في أداء الاستدلال ، فأنت بحاجة فقط إلى تنفيذ python main.py في محطة النظام في الدليل حيث يوجد المجلد الحالي. إذا قمت بتكوين البيئة ذات الصلة بشكل صحيح ، فستشغل بنجاح. وصل متوسط دقة جميع مجموعات الاختبار في 18 أبعادًا إلى 86.1 ٪.