Qwen Qlora ACSA

다차원 감정 분석 작업

우리의 임무는 각 식당 검토 텍스트의 감정적 경향을 18 차원으로 결정하는 것입니다. 이 18 가지 차원은 다음과 같습니다.

• 위치#운송
• 위치#다운타운
• 위치#easy_to_find
• 서비스#대기열
• 서비스#환대
• 서비스#주차
• 서비스#적시
• 가격#레벨
• 가격#cost_effection
• 가격#할인
• 분위기#장식
• 분위기#소음
• 분위기#공간
• 분위기#위생
• 음식#부분
• 음식#맛
• 음식#외관

데이터 세트 및 메트릭에 대해 더 알고 싶다면 https://github.com/meituan-dianping/asap을 참조하십시오.

환경 설정 및 Qlora 미세 조정

내 장치 ： Linux, Pytorch2.0.1+Cu118, A100

1. 시작하기 전에 XTUNER 라이브러리를 먼저 설치하십시오 ：

 mkdir -p /root/xtuner0117 && cd /root/xtuner0117

# Pull the source code of version 0.1.17
git clone -b v0.1.17  https://github.com/InternLM/xtuner

# Users who cannot access github please pull from gitee:
# git clone -b v0.1.15 https://gitee.com/Internlm/xtuner

# Enter the source code directory
cd /root/xtuner0117/xtuner

# Install XTuner from source
pip install -e '.[all]'

2. XTUNER 라이브러리의 지원으로 Qlora 및 Qwen 모델 구성 파일을 병합하기 위해 다음 미세 조정 지침을 실행하십시오.

 xtuner train qwen_1.8B_qlora_ASCA.py --deepspeed deepspeed_zero2 # Add deepspeed to accelerate training

xtuner convert pth_to_hf qwen_1.8B_qlora_ASCA.py
./work_dirs/qwen_1.8B_qlora_ASCA/iter_1803.pth ./hf

# Merge qlora files to generate fine-tuned qwen model
xtuner convert merge ./qwen/Qwen1.5-1.8B ./hf Qwen-1.5-1.8B-ASCA --max-shard-size 2GB

# Remove intermediate products
rm -rf ./hf

추론

추론을 수행하려면 현재 폴더가있는 디렉토리의 시스템 터미널에서 python main.py 실행하면됩니다. 관련 환경을 올바르게 구성하면 성공적으로 실행됩니다. 18 차원에서 모든 테스트 세트의 평균 정확도는 86.1%에 도달했습니다.