Recommendation Systems without Explicit ID Features A Literature Review

Model Yayasan untuk Daftar Kertas Sistem Rekomendasi

Selamat datang untuk membuka masalah atau membuat permintaan tarik!

Kata kunci: Rekomendasikan sistem, pretraining, model bahasa besar, sistem rekomendasi multimodal, sistem rekomendasi yang dapat ditransfer, model rekomendasi foundation, representasi pengguna universal, satu model-fit-all, fitur ID, embeddings ID

Makalah ini berupaya menjawab pertanyaan -pertanyaan berikut:

(1) Dapatkah sistem rekomendasi memiliki model fondasi sendiri yang mirip dengan yang digunakan dalam NLP dan CV?

(2) Apakah ID embedding diperlukan untuk model rekomendasi, dapatkah kita mengganti atau menghapusnya?

(3) Apakah sistem rekomendasi akan bergeser dari paradigma yang cocok ke paradigma pembangkit?

(4) Bagaimana LLM dapat digunakan untuk meningkatkan sistem rekomendasi?

(5) Apa yang dimiliki masa depan untuk sistem rekomendasi multimodal?

Daftar Kertas

Kertas Perspektif: ID vs. LLM & ID vs. Multimodal

• Ke mana harus pergi berikutnya untuk sistem rekomendasi? ID-VS. Model Rekomendasi Berbasis Modalitas Revisited, SIGIR2023, 2022/09, [kertas] [Kode]
• Menjelajahi Batas Atas Penyaringan Kolaboratif Berbasis Teks Menggunakan Model Bahasa Besar: Penemuan dan Wawasan, ARXIV 2023/05, [kertas]
• Menjelajahi Pembelajaran Transfer Berbasis Adapter untuk Sistem Rekomendasi: Studi Empiris dan Wawasan Praktis, WSDM2024, [kertas] [Kode]
• Gajah di Ruangan: Memikirkan Kembali Penggunaan Model Bahasa Pra-Terlatih Dalam Rekomendasi Sequential, ARXIV2024/04, [Kertas]

Dataset untuk RS yang dapat ditransfer atau multimodal

• Ninerec: Suite Dataset Benchmark untuk mengevaluasi rekomendasi yang dapat ditransfer, TPAMI2024, [kertas] [tautan] | Gambar, teks, sembilan dataset hilir
• TENREC: Dataset Benchmark Multipurpose Skala Besar untuk Sistem Rekomendasi, Neurips 2022 [Kertas]
• Pixelrec: Dataset gambar untuk Benchmarking Recommend Systems dengan Raw Pixels, SDM 2023/09 [Paper] | [Link] | Gambar, teks, tag, 200 juta interaksi
• Microlens: Dataset rekomendasi mikro-video yang digerakkan oleh konten pada skala [kertas] [tautan] [DeepMind Talk] | Gambar, teks, video, audio, komentar, tag, dll.
• Pikiran: Dataset skala besar untuk rekomendasi berita, ACL2020, [Paper] | Teks
• Transfer parameter-efisien dari perilaku berurutan untuk pemodelan dan rekomendasi pengguna, SIGIR 2020 [tautan]
• MOREC: [tautan] Netflix: [tautan] Amazon: [tautan]
• Menjelajahi prediksi CTR multi-scenario multi-modal dengan dataset skala besar, Sigir 2024/07 [kertas] | [tautan] | Gambar, teks, multi-domain, negatif sejati, 100 juta data CTR

Survei

• Survei tentang Model Bahasa Besar untuk Rekomendasi, ARXIV 2023/05, [Kertas]
• Bagaimana sistem rekomendasi dapat memperoleh manfaat dari model bahasa besar: survei, arxiv 2023/06, [kertas]
• Sistem Rekomendasi di Era Model Bahasa Besar, Arxiv, 2023/07, [Kertas]
• Survei tentang Evaluasi Model Bahasa Besar, Arxiv, 2023/07, [Kertas]
• Pembelajaran yang Di-swadaya untuk Sistem Rekomendasi: Survei, Arxiv, 2023/06, [Kertas]
• Pra-pelatihan, prompt, dan rekomendasi: Survei komprehensif adaptasi paradigma pemodelan bahasa dalam sistem rekomendasi, 2022/09, [kertas]
• Pemodelan Pengguna di Era Model Bahasa Besar: Penelitian Saat Ini dan Arah Masa Depan, 2023/12, [Kertas]
• Pemodelan Pengguna dan Profil Pengguna: Survei Komprehensif, 2024/02, [Kertas]
• Model Yayasan untuk Sistem Rekomendasi: Survei dan Perspektif Baru, 2024/02, [Kertas]
• Pretraining, adaptasi, dan generasi multimodal untuk rekomendasi: survei, 2024/05, [kertas]
• Semua jalan menuju ke Roma: Mengungkap lintasan sistem rekomendasi di seluruh era LLM, 2024/07, [kertas]

Model Bahasa Besar untuk Rekomendasi （llm4rec）

SCALING LLM

• Kemampuan Muncul Model Bahasa Besar, TMLR 2022/08, [Kertas]
• Menjelajahi Batas Atas Penyaringan Kolaboratif Berbasis Teks Menggunakan Model Bahasa Besar: Penemuan dan Wawasan, ARXIV 2023/05, [kertas]
• Apakah LLMS memahami preferensi pengguna? Mengevaluasi LLM tentang Prediksi Peringkat Pengguna, ARXIV 2023/05, [Kertas]
• Hukum penskalaan untuk model rekomendasi: Menuju representasi pengguna tujuan umum, AAAI 2023, [kertas]

Untra lebar & dalam & panjang llm

• Stackrec: Pelatihan yang efisien dari model rekomendasi berurutan yang sangat mendalam dengan Iterative Stacking, Sigir 2021, [Paper]
• Kerangka Pemilihan Lapisan Pengguna-Adaptif untuk Model Rekomendasi Berurutan yang Sangat Dalam, AAAI 2021, [Kertas]
• Kerangka Kompresi Jaringan Generik untuk Sistem Rekomendasi Berurutan, Sigir 2020, [Kertas]
• Hukum penskalaan model rekomendasi berurutan besar, ARXIV 2023/11, [kertas]
• Tindakan berbicara lebih keras daripada kata-kata: transduser sekuensial triliun-parameter untuk rekomendasi generatif, ARXIV 2024/03, [kertas]
• BREAKING THE LAME: Prediksi CTR yang ditingkatkan LLM dalam perilaku pengguna tekstual panjang, Sigir 2024, [kertas]

Tuning LLM

• CalRec: Penyelarasan Kontras LLM generatif untuk rekomendasi berurutan, Recsys 2024, [kertas]
• M6-REC: Model bahasa pretrain generatif adalah sistem rekomendasi terbuka, ARXIV 2022/05, [kertas]
• Tallrec: Kerangka penyetelan yang efektif dan efisien untuk menyelaraskan model bahasa besar dengan rekomendasi, ARXIV 2023/04, [kertas]
• GPT4REC: Kerangka kerja generatif untuk rekomendasi yang dipersonalisasi dan interpretasi minat pengguna, 2023/04, [kertas]
• Paradigma landasan dua langkah untuk model bahasa besar dalam sistem rekomendasi, Arxiv, 2023/08, [kertas]
• Llamarec: Rekomendasi dua tahap menggunakan model bahasa besar untuk peringkat, pgai@cikm 2023, [kertas] [kode]
• Meningkatkan rekomendasi berurutan dengan LLMS, ARXIV 2024/02, [kertas]

Freezing LLM [tautan]

• CTR-BERT: Distilasi Pengetahuan Hemat Biaya untuk Model Guru Miliar Parameter ， ARXIV 2022/04, [Kertas]
• Menuju Sistem Rekomendasi Percakapan Terpadu melalui Pembelajaran Prompt yang Ditingkatkan Pengetahuan, ARXIV 2022/06, [Kertas]
• Rekomendasi Generatif: Menuju Paradigma Rekomendasi Generasi Berikutnya, ARXIV 2023/04, [Kertas]
• Menjelajahi Batas Atas Penyaringan Kolaboratif Berbasis Teks Menggunakan Model Bahasa Besar: Penemuan dan Wawasan, ARXIV 2023/05, [kertas]
• Pandangan pertama pada rekomendasi berita generatif bertenaga LLM, ARXIV 2023/05, [kertas]
• Sistem rekomendasi pemeliharaan privasi dengan generasi kueri sintetis menggunakan model bahasa besar pribadi yang berbeda, ARXIV 2023/05, [kertas]
• Rekagen: Paradigma simulasi baru untuk Sistem Rekomendasi, ARXIV 2023/06, [kertas]
• Rekomendasi Zero-Shot Next-Item menggunakan model bahasa pretrained besar, ARXIV 2023/04, [kertas]
• Bisakah chatgpt membuat rekomendasi yang adil? Benchmark Evaluasi Keadilan untuk Rekomendasi dengan Model Bahasa Besar, Recsys 2023
• Memanfaatkan model bahasa besar untuk rekomendasi berurutan, recsys 2023/09, [kertas]
• LLMREC: Model bahasa besar dengan augmentasi grafik untuk rekomendasi, WSDM 2024 oral, [kertas] [kode]
• Apakah ID embeddings diperlukan? Pemutihan Teks Pra-Terlatih Embeddings Untuk rekomendasi berurutan yang efektif, ARXIV 2024/02, [kertas]

Cepat dengan llm

• Model bahasa besar adalah peringkat zero-shot untuk sistem rekomendasi, ARXIV 2023/05, [kertas]
• Rekomendasi sebagai pemrosesan bahasa (RLP): pretrain terpadu, prompt yang dipersonalisasi & prediksi paradigma (P5), ARXIV 2022/03, [kertas]
• Model Bahasa sebagai Sistem Rekomendasi: Evaluasi dan Keterbatasan, Neurips Workshop ICBINB 2021/10, [kertas]
• Pembelajaran cepat untuk rekomendasi berita, Sigir 2023/04, [kertas]
• LLM-REC: Rekomendasi yang dipersonalisasi melalui mendorong model bahasa besar, Arxiv, 2023/07 [kertas]

Chatgpt [tautan]

• Apakah chatgpt sebagai pemberi rekomendasi yang baik adalah studi pendahuluan, arxiv 2023/04, [kertas]
• Apakah chatgpt baik dalam pencarian? Menyelidiki model bahasa besar sebagai agen peringkat ulang, arxiv 2023/04, [kertas]
• CHAT-REC: Menuju Sistem Rekomendasi LLMS-Agusted yang interaktif dan dapat dijelaskan, ARXIV 2023/04, [kertas]
• Rekomendasi sebagai Instruksi Berikut: Model Bahasa Besar Memberdayakan Pendekatan Rekomendasi, ARXIV 2023/05, [Kertas]
• Memanfaatkan model bahasa besar dalam sistem rekomendasi percakapan, ARXIV 2023/05, [kertas]
• Mengungkap kemampuan chatgpt dalam sistem rekomendasi, arxiv 2023/05, [kertas] [kode]
• Sparks of Artificial General Recommender (AGR): Eksperimen Awal dengan ChatGPT, ARXIV 2023/05, [Kertas]
• Apakah chatgpt adil untuk rekomendasi? Mengevaluasi Keadilan dalam Rekomendasi Model Bahasa Besar, ARXIV 2023/05, [Kertas] [Kode]
• Sparks of Artificial General Recommender (AGR): Eksperimen Awal dengan ChatGPT, ARXIV 2023/05, [Kertas]
• PALR: Personalisasi Sadar LLMS untuk Rekomendasi, ARXIV 2023/05, [Kertas]
• Sistem rekomendasi pemeliharaan privasi dengan generasi kueri sintetis menggunakan model bahasa besar pribadi yang berbeda, ARXIV 2023/05, [kertas]
• Memikirkan kembali evaluasi untuk rekomendasi percakapan di era model bahasa besar, ARXIV 2023/05, [kertas]
• CTRL: Hubungkan model tabel dan bahasa untuk prediksi CTR, ARXIV 2023/06, [kertas].

Sistem Rekomendasi Multimodal

• VBPR: Peringkat pribadi Visual Bayesian dari umpan balik implisit, AAAI2016, [kertas]
• Pelatihan permusuhan menuju sistem rekomendasi multimedia yang kuat, TKDE2019, [kertas]
• Grafik Pengetahuan Multi-Modal untuk Sistem Rekomendasi, Cikm 2020, [kertas]
• Transformator multi-modal yang ditingkatkan distilasi online untuk rekomendasi berurutan, ACMMM 2023, [kertas]
• Rekomendasi sekuensial multi-modal swasembada, ARXIV2023/02, [kertas]
• FMMREC: Rekomendasi multimodal yang sadar keadilan, ARXIV2023/10, [kertas]
• Rekomendasi sekuensial multi-modal swasembada, ARXIV 2024/02, [kertas]
• ID Embedding sebagai fitur halus dari konten dan struktur untuk rekomendasi multimodal, ARXIV2023/10, [kertas]
• Meningkatkan ID dan fusi teks melalui pelatihan alternatif dalam rekomendasi berbasis sesi, ARXIV2023/2, [kertas]
• BIVREC: Rekomendasi sekuensial multimodal berbasis tampilan dua arah ， ARXIV2023/2, [kertas]
• Model bahasa besar meningkatkan rekomendasi berurutan untuk rekomendasi video bersama dan komentar, ARXIV2024/2, [kertas]
• Sebuah studi empiris dari rekomendasi sekuensial multi-modal ID-agnostik, ARXIV2024/3, [kertas]
• Tokenisasi semantik diskrit untuk prediksi CTR yang dalam, ARXIV2024/3, [kertas]
• Pelatihan ujung ke ujung model multimodal dan model peringkat, ARXIV2023/3, [kertas]

Foundation dan model rekomendasi yang dapat ditransfer

• Transrec: mempelajari rekomendasi yang dapat ditransfer dari umpan balik campuran-modalitas, ARXIV 2022/06, [kertas]
• Menuju Pembelajaran Representasi Urutan Universal untuk Sistem Rekomendasi, KDD2022.2022/06, [Kertas]
• Representasi Item Berbagai Vektor-Quantisasi untuk Rekomendasi Sequential yang Dapat Dipindahkan, www 2023, [kertas] [Kode]
• UP5: Model Yayasan yang Tidak Memihak untuk Rekomendasi Sadar Keadilan, ARXIV 2023/05, [Kertas]
• Menjelajahi Pembelajaran Transfer Berbasis Adapter untuk Sistem Rekomendasi: Studi Empiris dan Wawasan Praktis, ARXIV 2023/05, [kertas] [Kode]
• OpenP5: Benchmarking Foundation Model untuk Rekomendasi, ARXIV 2023/06, [Kertas]
• Rekomendasi multi-domain pra-terlatih secara menyeluruh sebagai bahasa, ARXIV 2023/10, [kertas]
• MissRec: Pra-pelatihan dan transfer representasi urutan sadar-minat multi-modal untuk rekomendasi, ARXIV 2023/10, [kertas]
• Representasi item pra-terlatih berbasis kata kolaboratif untuk rekomendasi yang dapat ditransfer, ARXIV 2023/11, [kertas]
• Rekomendasi Pra-terlatih multi-domain multi-domain universal, ARXIV 2023/11, [kertas]
• Multi-modalitas adalah semua yang Anda butuhkan untuk sistem rekomendasi yang dapat ditransfer, ARXIV 2023, [kertas]
• TransFR: Rekomendasi federasi yang dapat ditransfer dengan model bahasa pra-terlatih, ARXIV 2024/02, [kertas]
• Rethinking Cross-Domain Rekomendasi Sekuensial Di bawah Asumsi Dunia Terbuka, ARXIV 2024/02, [Kertas]
• Model Bahasa Besar Memenuhi Penyaringan Kolaboratif: Sistem Rekomendasi Berbasis LLM yang efisien, ARXIV 2024/04, [kertas]
• Model Bahasa mengkodekan sinyal kolaboratif dalam rekomendasi, ARXIV 2024/07, [kertas]

Universal umum tujuan, pembelajaran representasi pengguna satu

• Transfer parameter-efisien dari perilaku berurutan untuk pemodelan dan rekomendasi pengguna, Sigir 2020, [kertas], [kode]
• One4all Representasi Pengguna untuk Sistem Rekomendasi di E-Commerce, ARXIV 2021, [Kertas]
• Belajar representasi pengguna yang dapat ditransfer dengan perilaku berurutan melalui pra-pelatihan kontras, ICDM 2021, [kertas]
• Fine-tuning adaptif khusus pengguna untuk rekomendasi lintas domain, TKDE 2021, [kertas]
• Hukum penskalaan untuk model rekomendasi: Menuju representasi pengguna tujuan umum, AAAI 2023, [kertas]
• U-BERT: Representasi pengguna pra-pelatihan untuk rekomendasi yang lebih baik, AAAI 2021, [kertas]
• Satu untuk semua, semua untuk satu: belajar dan mentransfer embeddings pengguna untuk rekomendasi lintas domain, WSDM 2022, [kertas]
• Autoencoder variasional yang sadar lapangan untuk pembelajaran representasi pengguna skala miliaran, ICDE2022, [kertas]
• Mempelajari representasi pengguna universal berskala besar dengan campuran para ahli yang jarang, ICML2022Workshop, [kertas]
• Multi DataSource LTV Representasi Pengguna (MDLUR), KDD2023, [Kertas]
• Peran penting pemodelan bahasa dalam sistem rekomendasi: memperkaya pembelajaran representasi khusus tugas dan tugas-agnostik. ARXIV2022/12, [kertas]
• Pemodelan Pengguna dan Profil Pengguna: Survei Komprehensif, 2024/02, [Kertas]
• Representasi pengguna umum untuk pembelajaran transfer, ARXIV 2024/03, [kertas]
• Menjembatani bahasa dan item untuk pengambilan dan rekomendasi ， arxiv 2024/04, [kertas]

Pembelajaran Representasi Pengguna Universal Seumur Hidup

• Satu orang, satu model, satu dunia: belajar representasi pengguna berkelanjutan tanpa melupakan, Sigir 2021, [kertas], [kode]
• TENREC: Dataset Benchmark Multipurpose Skala Besar untuk Sistem Rekomendasi, Neurips 2022 [Kertas]
• Stan: Jaringan adaptif tahap untuk rekomendasi multi-tugas dengan mempelajari representasi siklus hidup pengguna, Recsys 2023, [kertas]
• Tugas Relational-Sehat Pembelajaran Representasi Pengguna Berkelanjutan, KDD2023, [Kertas]
• Rella: Retrieval-Enhanced Large Language Models untuk pemahaman perilaku berurutan seumur hidup dalam rekomendasi, ARXIV2023/08, [kertas]

Sistem Rekomendasi Generatif [Tautan]

• Jaringan generatif konvolusional sederhana untuk rekomendasi item berikutnya, WSDM 2018/08, [kertas] [kode]
• Data di masa depan membantu pelatihan: Memodelkan konteks masa depan untuk rekomendasi berbasis sesi, www 2020/04, [kertas] [kode]
• Rekomendasi melalui model generatif difusi kolaboratif, KSEM 2022/08, [kertas]
• Model Proses Sharpening Kabur untuk Penyaringan Kolaboratif, ARXIV 2022/09, [Kertas]
• Rekomendasi Slate Generatif dengan Pembelajaran Penguatan, ARXIV 2023/01, [Kertas]
• Sistem Rekomendasi dengan Pengambilan Generatif, ARXIV 2023/04, [Kertas]
• Diffurec: Model Difusi untuk Rekomendasi Sequential, ARXIV 2023/04, [Kertas]
• Model Rekomendasi Difusi, ARXIV 2023/04, [Kertas]
• Pandangan pertama pada rekomendasi berita generatif bertenaga LLM, ARXIV 2023/05, [kertas]
• Sistem Rekomendasi dengan Pengambilan Generatif, ARXIV 2023/05, [Kertas]
• Pengambilan generatif sebagai pengambilan padat, arxiv 2023/06, [kertas]
• Rekfusi: Proses Difusi Binomial untuk Data 1D untuk Rekomendasi, ARXIV 2023/06, [Kertas]
• Rekomendasi Sequential Generatif dengan GPTREC, SIGIR Workshop 2023, [Kertas]
• Penggemar: Generasi Urutan Non-Autoregresif Cepat Untuk Kelanjutan Daftar Item, www 2023, [kertas]
• Rekomendasi Basket Berikutnya Generatif, Recsys 2023
• Model Bahasa Besar Rekomendasi Didorong Narasi, Recsys 2023, [Kertas]
• Lightlm: Rekomendasi pemodelan model bahasa yang dalam dan sempit, ARXIV 2023/10, [kertas]

Sumber Daya Terkait:

• Xiangyang Li Github [tautan]
• nancheng58i github [tautan]
• Enoche Github [tautan]
• WLIK GITHUB [tautan]
• https://github.com/chiangel/awesome-llm-for-recsys
• https://medium.com/@lifengyi_6964/a-large-scale-short-video-recommender-system-dataset-160fdfe81b79
• https://medium.com/@lifengyi_6964/rethinking-the-id-paradigm-in-recommender-systems-the-rise-of-modality-98f449dec016
• https://medium.com/@lifengyi_6964/one-model-for-all-universal-recommender-system-82dab214a07d
• https://zhuanlan.zhihu.com/p/437671278
• https://zhuanlan.zhihu.com/p/675213913
• https://zhuanlan.zhihu.com/p/684805058
• https://zhuanlan.zhihu.com/p/665467596