Qwen Qlora ACSA

Многомерные задачи анализа настроений

Наша задача - определить эмоциональную тенденцию каждого текста обзора ресторана в 18 измерениях. Эти 18 измерений:

• Расположение#Транспорт
• Расположение#Downtown
• Расположение#easy_to_find
• Сервис#очередь
• Сервис#гостеприимство
• Сервис#парковка
• Сервис#своевременно
• Цена#Уровень
• Цена#ost_effice
• Цена#скидка
• Атмосфера#Украшение
• Атмосфера#шум
• Атмосфера#пространство
• Атмосфера#санитарная
• Еда#порция
• Еда#вкус
• Еда#внешний вид

Если вы хотите узнать больше о наборе данных и метриках, см. Https://github.com/meituan-dianping/asap

Настройка среды и тонкая настройка Qlora

Мое устройство ： Linux ， Pytorch2.0.1+Cu118, A100

1. Перед началом, пожалуйста, установите библиотеку Xtuner сначала:

 mkdir -p /root/xtuner0117 && cd /root/xtuner0117

# Pull the source code of version 0.1.17
git clone -b v0.1.17  https://github.com/InternLM/xtuner

# Users who cannot access github please pull from gitee:
# git clone -b v0.1.15 https://gitee.com/Internlm/xtuner

# Enter the source code directory
cd /root/xtuner0117/xtuner

# Install XTuner from source
pip install -e '.[all]'

2. При поддержке библиотеки Xtuner выполните следующие инструкции с той настройкой, чтобы объединить файлы конфигурации модели Qlora и QWEN:

 xtuner train qwen_1.8B_qlora_ASCA.py --deepspeed deepspeed_zero2 # Add deepspeed to accelerate training

xtuner convert pth_to_hf qwen_1.8B_qlora_ASCA.py
./work_dirs/qwen_1.8B_qlora_ASCA/iter_1803.pth ./hf

# Merge qlora files to generate fine-tuned qwen model
xtuner convert merge ./qwen/Qwen1.5-1.8B ./hf Qwen-1.5-1.8B-ASCA --max-shard-size 2GB

# Remove intermediate products
rm -rf ./hf

Вывод

Если вы хотите выполнить вывод, вам нужно только выполнить python main.py в системном терминале в каталоге, где находится текущая папка. Если вы правильно настроите соответствующую среду, вы будете успешно работать. Средняя точность всех испытательных наборов в 18 измерениях достигла 86,1%.