Qwen Qlora ACSA

Tarefas de análise de sentimentos multidimensionais

Nossa tarefa é determinar a tendência emocional de cada texto de revisão de restaurantes em 18 dimensões. Essas 18 dimensões são:

• Localização#transporte
• Localização#Downtown
• Localização#easy_to_find
• Serviço#fila
• Serviço#hospitalidade
• Serviço#Estacionamento
• Serviço#oportuno
• Nível de preço#
• Preço#Cost_effective
• Preço#desconto
• Ambiência#decoração
• Ambiente#ruído
• Ambiente#espaço
• Ambiente#sanitário
• Comida#porção
• Comida#gosto
• Comida#aparência

Se você quiser saber mais sobre o conjunto de dados e métricas, consulte https://github.com/meituan-dianping/asap

Configuração do ambiente e ajuste fino Qlora

Meu dispositivo ： Linux ， pytorch2.0.1+Cu118, A100

1. Antes de começar, instale a biblioteca XTuner primeiro:

 mkdir -p /root/xtuner0117 && cd /root/xtuner0117

# Pull the source code of version 0.1.17
git clone -b v0.1.17  https://github.com/InternLM/xtuner

# Users who cannot access github please pull from gitee:
# git clone -b v0.1.15 https://gitee.com/Internlm/xtuner

# Enter the source code directory
cd /root/xtuner0117/xtuner

# Install XTuner from source
pip install -e '.[all]'

2. Com o suporte da biblioteca XTuner, execute as seguintes instruções de ajuste fino para mesclar os arquivos de configuração do modelo Qlora e Qwen:

 xtuner train qwen_1.8B_qlora_ASCA.py --deepspeed deepspeed_zero2 # Add deepspeed to accelerate training

xtuner convert pth_to_hf qwen_1.8B_qlora_ASCA.py
./work_dirs/qwen_1.8B_qlora_ASCA/iter_1803.pth ./hf

# Merge qlora files to generate fine-tuned qwen model
xtuner convert merge ./qwen/Qwen1.5-1.8B ./hf Qwen-1.5-1.8B-ASCA --max-shard-size 2GB

# Remove intermediate products
rm -rf ./hf

Inferência

Se você deseja executar a inferência, você só precisa executar python main.py no terminal do sistema no diretório em que a pasta atual está localizada. Se você configurar o ambiente relevante corretamente, você será executado com sucesso. A precisão média de todos os conjuntos de testes em 18 dimensões atingiu 86,1%.