Qwen Qlora ACSA

งานการวิเคราะห์ความเชื่อมั่นหลายมิติ

หน้าที่ของเราคือการกำหนดแนวโน้มทางอารมณ์ของแต่ละข้อความตรวจสอบร้านอาหารใน 18 มิติ 18 มิติเหล่านี้คือ:

• สถานที่#การขนส่ง
• สถานที่#ตัวเมือง
• ตำแหน่ง#easy_to_find
• บริการ#คิว
• บริการ#การต้อนรับ
• บริการ#ที่จอดรถ
• บริการ#เวลา
• ราคา#ระดับ
• ราคา#cost_effective
• ราคา#ส่วนลด
• บรรยากาศ#การตกแต่ง
• บรรยากาศ#เสียงรบกวน
• บรรยากาศ#Space
• บรรยากาศ#สุขาภิบาล
• อาหาร#ส่วน
• อาหาร#รสชาติ
• อาหาร#รูปลักษณ์

หากคุณต้องการทราบข้อมูลเพิ่มเติมเกี่ยวกับชุดข้อมูลและตัวชี้วัดดู https://github.com/meituan-dianping/asap

การตั้งค่าสภาพแวดล้อมและการปรับแต่ง Qlora

อุปกรณ์ของฉัน： Linux， Pytorch2.0.1+Cu118, A100

1. ก่อนเริ่มต้นโปรดติดตั้งไลบรารี Xtuner ก่อน：

 mkdir -p /root/xtuner0117 && cd /root/xtuner0117

# Pull the source code of version 0.1.17
git clone -b v0.1.17  https://github.com/InternLM/xtuner

# Users who cannot access github please pull from gitee:
# git clone -b v0.1.15 https://gitee.com/Internlm/xtuner

# Enter the source code directory
cd /root/xtuner0117/xtuner

# Install XTuner from source
pip install -e '.[all]'

2. ด้วยการสนับสนุนของไลบรารี xtuner ให้ดำเนินการตามคำแนะนำในการปรับแต่งอย่างละเอียดเพื่อรวมไฟล์การกำหนดค่ารุ่น Qlora และ Qwen：：：：

 xtuner train qwen_1.8B_qlora_ASCA.py --deepspeed deepspeed_zero2 # Add deepspeed to accelerate training

xtuner convert pth_to_hf qwen_1.8B_qlora_ASCA.py
./work_dirs/qwen_1.8B_qlora_ASCA/iter_1803.pth ./hf

# Merge qlora files to generate fine-tuned qwen model
xtuner convert merge ./qwen/Qwen1.5-1.8B ./hf Qwen-1.5-1.8B-ASCA --max-shard-size 2GB

# Remove intermediate products
rm -rf ./hf

การอนุมาน

หากคุณต้องการทำการอนุมานคุณจะต้องดำเนินการ python main.py ในเทอร์มินัลระบบในไดเรกทอรีที่โฟลเดอร์ปัจจุบันอยู่ หากคุณกำหนดค่าสภาพแวดล้อมที่เกี่ยวข้องอย่างถูกต้องคุณจะทำงานได้สำเร็จ ความแม่นยำเฉลี่ยของชุดทดสอบทั้งหมดใน 18 มิติถึง 86.1%