faq llm

E-Commerce FAQ Chatbot โดยใช้พารามิเตอร์การปรับจูนอย่างมีประสิทธิภาพด้วยเทคนิค LORA

ภาพรวม

พื้นที่เก็บข้อมูลนี้มีรหัสและทรัพยากรสำหรับการสร้างแชทบอทที่พบบ่อยของอีคอมเมิร์ซโดยใช้พารามิเตอร์การปรับแต่งที่มีประสิทธิภาพด้วยเทคนิค LORA โครงการมีจุดมุ่งหมายเพื่อพัฒนา chatbot สำหรับเว็บไซต์อีคอมเมิร์ซโดยใช้ประโยชน์จากรูปแบบภาษาขนาดใหญ่ (LLMS) และใช้วิธีการปรับแต่งอย่างละเอียดโดยใช้โมเดล Falcon-7B การปรับแต่งจะดำเนินการด้วยพารามิเตอร์ที่มีประสิทธิภาพการปรับแต่ง (PEFT) และเทคนิค LORA (การปรับระดับต่ำ) เพื่อเพิ่มประสิทธิภาพของโมเดล

ผู้เขียน

• Bal Narendra Sapa - University of New Haven - อีเมล
• Ajay Kumar Jagu - University of New Haven - อีเมล

สารบัญ

1. การแนะนำ
2. วัตถุประสงค์
3. งานที่เกี่ยวข้อง
4. ชุดข้อมูล
5. วิธีการ
6. ผลลัพธ์
7. บทสรุป
8. กิตติกรรมประกาศ
9. การปรับใช้
10. รหัสและทรัพยากร
11. การอ้างอิง

การแนะนำ

ในโลกที่รวดเร็วของอีคอมเมิร์ซการจัดการการสืบค้นลูกค้าอย่างมีประสิทธิภาพเป็นสิ่งสำคัญ โครงการนี้แนะนำโซลูชัน chatbot ที่ใช้ประโยชน์จากรูปแบบภาษาขั้นสูงเพื่อตอบคำถามที่พบบ่อยโดยอัตโนมัติ รูปแบบที่ปรับแต่งอย่างละเอียด Falcon-7b ได้รับการฝึกฝนในชุดข้อมูลที่กำหนดเองที่แยกออกมาจาก Kaggle โดยระบุการสืบค้นผู้ใช้ทั่วไปในโดเมนอีคอมเมิร์ซ

วัตถุประสงค์

1. การสนับสนุนลูกค้าที่มีประสิทธิภาพ: การปรับปรุงการสนับสนุนลูกค้าโดยการตอบกลับโดยอัตโนมัติสำหรับคำถามที่พบบ่อย
2. การประหยัดต้นทุนผ่านระบบอัตโนมัติ: ลดต้นทุนการดำเนินงานโดยการตอบกลับโดยอัตโนมัติสำหรับการสอบถามข้อมูลตามปกติ
3. การจัดสรรทรัพยากรที่ได้รับการปรับปรุง: การเพิ่มประสิทธิภาพทรัพยากรมนุษย์โดยการตอบสนองต่อคำถามที่พบบ่อยโดยอัตโนมัติทำให้ตัวแทนสามารถมุ่งเน้นไปที่ปัญหาที่ซับซ้อนมากขึ้น

งานที่เกี่ยวข้อง

โครงการสร้างขึ้นตามรุ่นที่ผ่านการฝึกอบรมมาก่อนรวมถึงรุ่น GPT ของ OpenAI และรุ่น Llama ของ Meta นอกจากนี้ยังสำรวจ chatbots ที่มีอยู่เช่นผู้ช่วย IBM Watson และ ADA Healthcare Chatbot การเปรียบเทียบระหว่าง RAG (Generation Augmented Retrieval) และแบบจำลองที่ปรับแต่งจะถูกกล่าวถึง

ชุดข้อมูล

ชุดข้อมูลที่มาจาก Kaggle ประกอบด้วย 79 ตัวอย่างพร้อมคำถามและคำตอบที่เกี่ยวข้อง การแยกประกอบด้วย 67 ตัวอย่างสำหรับการฝึกอบรม (85%) และ 12 ตัวอย่างสำหรับการทดสอบ (15%)

ลิงก์ไปยังชุดข้อมูลบน Kaggle

วิธีการ

วิธีการที่เกี่ยวข้องกับการใช้โมเดล Falcon-7B การปรับแต่งด้วยเทคนิค PEFT และ LORA และการใช้ประโยชน์จากห้องสมุดสำคัญเช่นหม้อแปลงและ PEFT โดยการกอดใบหน้า กระบวนการนี้รวมถึงการประมวลผลชุดข้อมูลการกำหนดค่าอะแดปเตอร์ LORA และการฝึกอบรมแบบจำลอง

ผลลัพธ์

แบบจำลองแสดงให้เห็นถึงการลดลงของค่าการสูญเสียในยุคซึ่งบ่งบอกถึงแนวโน้มการฝึกอบรมเชิงบวก คะแนน Bleu ที่ใช้สำหรับการประเมินผลแสดงความสามารถของโมเดลในการสร้างการตอบสนองที่สอดคล้องกับผลลัพธ์ที่คาดหวัง

บทสรุป

โครงการมีส่วนช่วยในการปรับปรุงการสนับสนุนลูกค้าในอีคอมเมิร์ซผ่านรูปแบบภาษาขั้นสูง ในขณะที่ผลลัพธ์ที่ได้รับนั้นมีแนวโน้มแนะนำให้ทำการทดลองเพิ่มเติมด้วยชุดข้อมูลขนาดใหญ่และการปรับแต่งแบบจำลองอย่างต่อเนื่อง

กิตติกรรมประกาศ

ACKNOWLEDGMENTS ขยายไปถึงนักพัฒนาของโมเดล Falcon-7B ชุมชน Hugging Face, Kaggle สำหรับการเป็นเจ้าภาพชุดข้อมูลและคณะที่ University of New Haven

การปรับใช้

แอปพลิเคชัน Streamlit ได้รับการพัฒนาสำหรับการใช้งานในท้องถิ่นซึ่งต้องการ GPU ที่มีวิดีโอ RAM (VRAM) อย่างน้อย 16 กิกะไบต์ (VRAM) เพื่อประสิทธิภาพที่ดีที่สุด แอพในที่เก็บนี้ ชำระเงินใน Streamlit-App

รหัสและทรัพยากร

• โมเดลที่ปรับแต่งอย่างละเอียดเกี่ยวกับ Hugging Face Model Hub: ลิงค์ไปยัง Hugging Face Model
• Kaggle Notebook สำหรับ Walkthrough: Link ไปยัง Kaggle Notebook

อย่าลังเลที่จะสำรวจทดลองและมีส่วนร่วมในการปรับปรุงเพิ่มเติม

การอ้างอิง

1. แบบจำลองภาษาเป็นผู้เรียนไม่กี่คน - Tom B. Brown et al (2020)
2. Llama 2: Open Foundation และรุ่นแชทที่ปรับแต่งได้ (2023)
3. การปรับจูนพารามิเตอร์แบบไม่ใช้พารามิเตอร์สองสามครั้งนั้นดีกว่าและถูกกว่าการเรียนรู้ในบริบท-Haokun Liu et al (2022)
4. LORA: การปรับระดับต่ำของแบบจำลองภาษาขนาดใหญ่ - Edward J Hu et al (2021)
5. ภาพรวมของ Bard: การทดลองครั้งแรกกับ Generative AI - James Manyika (2023)
6. ผู้ช่วย IBM Watson
7. กอดบล็อกใบหน้าบน Peft