Qwen Qlora ACSA

Tareas de análisis de sentimientos multidimensionales

Nuestra tarea es determinar la tendencia emocional del texto de revisión de cada restaurante en 18 dimensiones. Estas 18 dimensiones son:

• Ubicación#Transporte
• Ubicación#en el centro
• Ubicación#Easy_to_Find
• Servicio#cola
• Servicio#Hospitalidad
• Servicio#Estacionamiento
• Servicio#oportuno
• Nivel de precio#
• Precio#Costo_Effective
• Precio#descuento
• Ambiente#decoración
• Ambienc#ruido
• Ambiente#espacio
• Ambiente#sanitario
• Comida#porción
• Comida#sabor
• ADICIPACIÓN#Apariencia

Si desea saber más sobre el conjunto de datos y las métricas, consulte https://github.com/meituan-dianping/asap

Configuración del medio ambiente y afinando qlora

Mi dispositivo: Linux, Pytorch2.0.1+CU118, A100

1. Antes de comenzar, instale la biblioteca XTuner primero:

 mkdir -p /root/xtuner0117 && cd /root/xtuner0117

# Pull the source code of version 0.1.17
git clone -b v0.1.17  https://github.com/InternLM/xtuner

# Users who cannot access github please pull from gitee:
# git clone -b v0.1.15 https://gitee.com/Internlm/xtuner

# Enter the source code directory
cd /root/xtuner0117/xtuner

# Install XTuner from source
pip install -e '.[all]'

2. Con el soporte de la biblioteca XTuner, ejecute las siguientes instrucciones de ajuste de fino para fusionar los archivos de configuración del modelo Qlora y Qwen:

 xtuner train qwen_1.8B_qlora_ASCA.py --deepspeed deepspeed_zero2 # Add deepspeed to accelerate training

xtuner convert pth_to_hf qwen_1.8B_qlora_ASCA.py
./work_dirs/qwen_1.8B_qlora_ASCA/iter_1803.pth ./hf

# Merge qlora files to generate fine-tuned qwen model
xtuner convert merge ./qwen/Qwen1.5-1.8B ./hf Qwen-1.5-1.8B-ASCA --max-shard-size 2GB

# Remove intermediate products
rm -rf ./hf

Inferencia

Si desea realizar una inferencia, solo necesita ejecutar python main.py en el terminal del sistema en el directorio donde se encuentra la carpeta actual. Si configura el entorno relevante correctamente, se ejecutará correctamente. La precisión promedio de todos los conjuntos de pruebas en 18 dimensiones alcanzó el 86.1%.