LLM Recommendation Systems

LLM-Commendation-Systems

LLM yang menyempurnakan untuk rekomendasi berbasis teks

Proyek ini mengeksplorasi potensi penyempurnaan model bahasa besar (LLM) khusus untuk rekomendasi berbasis teks, yang bertujuan untuk meningkatkan akurasi dan kepuasan pengguna. Ini memperkenalkan mekanisme cepat baru yang mengubah informasi hubungan menjadi teks bahasa alami, memungkinkan LLM untuk menafsirkan interaksi pengguna dan membuat rekomendasi yang lebih tepat.

Tinjauan Proyek

Poin -Poin Kunci:

1. Memanfaatkan dataset Amazon Review 2018 untuk mengembangkan sistem rekomendasi produk yang dipersonalisasi.
2. Diimplementasikan dan membandingkan kinerja dua model bahasa besar: Mistral-7b dan Tinyllama.
3. Teknik-teknik canggih terapan seperti LORA (adaptasi rendah) dan Qlora (LORA terkuantisasi) untuk fine-tuning model yang efisien.
4. Mengembangkan strategi yang mendorong novel untuk mengubah riwayat interaksi pengguna menjadi input bahasa alami untuk model.
5. Mencapai lebih dari 98% akurasi dalam memprediksi pembelian produk pengguna berikutnya menggunakan model Tinyllama yang disesuaikan.
6. Menunjukkan bahwa model yang lebih kecil dan khusus dapat mengungguli model yang lebih besar untuk tugas-tugas tertentu ketika disempurnakan dengan benar.
7. Melakukan analisis kesalahan untuk mengidentifikasi pola dalam prediksi yang salah dan bidang potensial untuk perbaikan.
8. Menjelajahi keseimbangan antara ukuran model, efisiensi komputasi, dan akurasi prediksi dalam sistem rekomendasi.

Proyek ini berfokus pada menunjukkan efisiensi fine-tuning LLMS untuk tugas rekomendasi menggunakan dataset yang beragam dan luas. Implementasi mencakup fase berikut:

1. Ekstraksi Data dan Preprocessing :

   • Subset yang diekstraksi dari data ulasan Amazon dan dikonversinya menjadi DataFrames.
   • Kolom yang tidak perlu dihapus.
   • Menyaring pengguna dengan riwayat pembelian yang tidak mencukupi.
   • Mengubah data yang tersisa menjadi prompt, membentuk input untuk LLM.

2. Teknik cepat :

   • Mengeksplorasi berbagai teknik pendorong.
   • Menetap pada struktur tiga bagian untuk setiap prompt: instruksi, detail input, dan output kebenaran ground.
   • Struktur ini memberikan model tugas yang jelas, informasi yang relevan, dan format output yang diinginkan.

3. Implementasi Model :

   • Memanfaatkan perpustakaan AI dan Huggingface yang tidak masuk akal untuk model pra-terlatih dan alat kustomisasi.
   • Dianggap Qlora, teknik untuk meningkatkan kinerja model.
   • Membuat objek SFTTrainer dan TrainingArguments konsolidasian untuk memusatkan penyesuaian hiperparameter selama pelatihan.