faq llm

E-Commerce FAQ Chatbot Menggunakan Parameter Efisien Tuning Dengan Teknik Lora

Ringkasan

Repositori ini berisi kode dan sumber daya untuk membangun chatbot FAQ e-commerce menggunakan parameter fine tuning efisien dengan teknik LORA. Proyek ini bertujuan untuk mengembangkan chatbot untuk situs e-commerce dengan memanfaatkan model bahasa besar (LLM) dan mengadopsi pendekatan penyempurnaan menggunakan model Falcon-7b. Fine-tuning dilakukan dengan parameter efisien fine tuning (PEFT) dan teknik LORA (adaptasi rendah) untuk meningkatkan kinerja model.

Penulis

• Bal Narendra Sapa - University of New Haven - Email
• Ajay Kumar Jagu - University of New Haven - Email

Daftar isi

1. Perkenalan
2. Tujuan
3. Pekerjaan terkait
4. Dataset
5. Metodologi
6. Hasil
7. Kesimpulan
8. Ucapan Terima Kasih
9. Penyebaran
10. Kode dan Sumber Daya
11. Referensi

Perkenalan

Di dunia e-commerce yang serba cepat, menangani pertanyaan pelanggan secara efisien sangat penting. Proyek ini memperkenalkan solusi chatbot yang memanfaatkan model bahasa canggih untuk mengotomatisasi tanggapan terhadap pertanyaan yang sering diajukan. Model yang disesuaikan, Falcon-7b, dilatih pada dataset khusus yang diekstraksi dari Kaggle, menangani kueri pengguna umum di domain e-commerce.

Tujuan

1. Dukungan Pelanggan yang Efisien: Merampingkan dukungan pelanggan dengan mengotomatisasi tanggapan terhadap pertanyaan yang sering diajukan.
2. Penghematan biaya melalui otomatisasi: Mengurangi biaya operasional dengan mengotomatisasi respons terhadap pertanyaan rutin.
3. Alokasi sumber daya yang ditingkatkan: Mengoptimalkan sumber daya manusia dengan mengotomatisasi respons terhadap FAQ, yang memungkinkan agen untuk fokus pada masalah yang lebih kompleks.

Pekerjaan terkait

Proyek ini dibangun berdasarkan model pra-terlatih, termasuk model GPT Openai dan model Llama Meta. Ini juga mengeksplorasi chatbots yang ada seperti IBM Watson Assistant dan ADA Healthcare Chatbot. Perbandingan antara Rag (Retrieval Augmented Generation) dan model yang disesuaikan dibahas.

Dataset

Dataset, yang bersumber dari Kaggle, terdiri dari 79 sampel dengan pertanyaan dan jawaban yang sesuai. Perpecahan mencakup 67 sampel untuk pelatihan (85%) dan 12 sampel untuk pengujian (15%).

Tautan ke dataset di kaggle

Metodologi

Metodologi ini melibatkan penggunaan model Falcon-7b, menyempurnakan dengan teknik PEFT dan LORA, dan memanfaatkan perpustakaan kunci seperti Transformers dan Peft dengan memeluk wajah. Proses ini mencakup preprocessing dataset, konfigurasi adapter LORA, dan pelatihan model.

Hasil

Model ini menunjukkan penurunan nilai kerugian di seluruh zaman, menunjukkan tren pelatihan positif. Skor Bleu, yang digunakan untuk evaluasi, menampilkan kemahiran model dalam menghasilkan respons yang selaras dengan hasil yang diharapkan.

Kesimpulan

Proyek ini berkontribusi untuk meningkatkan dukungan pelanggan dalam e-commerce melalui model bahasa canggih. Sementara hasil yang dicapai menjanjikan, eksperimen lebih lanjut dengan kumpulan data yang lebih besar dan penyempurnaan model berkelanjutan direkomendasikan.

Ucapan Terima Kasih

Ucapan Terima Kasih Diperluas ke Pengembang Model Falcon-7B, Komunitas Face Hugging, Kaggle untuk menjadi tuan rumah dataset, dan fakultas di University of New Haven.

Penyebaran

Aplikasi streamlit telah dikembangkan untuk penggunaan lokal, membutuhkan GPU dengan setidaknya 16 gigabyte video ram (VRAM) untuk kinerja optimal. Aplikasi di repositori ini. Checkout di streamlit-app dir Dir

Kode dan Sumber Daya

• Model Fine-Tuned pada HUB MODEL FACE HUBGING: Tautan ke Model Wajah Memeluk
• Kaggle Notebook untuk Walkthrough: Tautan ke Kaggle Notebook

Jangan ragu untuk mengeksplorasi, bereksperimen, dan berkontribusi pada perbaikan lebih lanjut.

Referensi

1. Model bahasa adalah beberapa pelajar - Tom B. Brown et al (2020)
2. Llama 2: Open Foundation and Fine-Tuned Chat Model (2023)
3. Fine-tuning parameter-shot-efisien lebih baik dan lebih murah daripada pembelajaran dalam konteks-Haokun Liu et al (2022)
4. Lora: Adaptasi Rendah Model Bahasa Besar - Edward J Hu et al (2021)
5. Tinjauan Bard: Eksperimen Awal dengan AI Generatif - James Manyika (2023)
6. IBM Watson Assistant
7. Blog Face Memeluk di Peft