Modèles de fondation pour la liste de papier du système recommandée
Bienvenue pour ouvrir un problème ou faire une demande de traction!
Mots-clés: système recommandé, pré-formation, modèle de grand langage, système de recommandation multimodal, système de recommandation transférable, modèles de recommandation de fondation, représentation universelle de l'utilisateur, un modélisation, fonctionnalités d'identification, intégration d'identification ID
Ces articles tentent de répondre aux questions suivantes:
(1) Les systèmes de recommandation peuvent-ils avoir leurs propres modèles de fondation similaires à ceux utilisés dans la PNL et le CV?
(2) L'intégration d'ID est-elle nécessaire pour les modèles de recommandation, pouvons-nous le remplacer ou l'abondir?
(3) Les systèmes de recommandation passeront-ils d'un paradigme correspondant à un paradigme générateur?
(4) Comment utiliser LLM pour améliorer les systèmes de recommandation?
(5) Que contient l'avenir pour les systèmes de recommandation multimodaux?
Liste de papier
Document de perspective: ID vs LLM & ID vs multimodal
- Où aller ensuite pour les systèmes de recommandation? Id-vs. Modèles de recommandation basés sur la modalité Revisité, SIGIR2023, 2022/09, [papier] [Code]
- Exploration des limites supérieures du filtrage collaboratif basé sur le texte à l'aide de grands modèles de langage: découvertes et informations, Arxiv 2023/05, [papier]
- Explorer l'apprentissage du transfert basé sur l'adaptateur pour les systèmes de recommandation: études empiriques et idées pratiques, WSDM2024, [document] [Code]
- L'éléphant dans la salle: repenser l'utilisation du modèle de langue pré-formé dans une recommandation séquentielle, Arxiv2024 / 04, [papier]
Ensembles de données pour les RS transférables ou multimodaux
- Ninerec: une suite de données de référence pour évaluer les recommandations transférables, TPAMI2024, [papier] [lien] | Images, texte, neuf ensembles de données en aval
- Tenrec: un ensemble de données de référence polyvalent à grande échelle pour les systèmes de recommandation, Neirips 2022 [papier]
- Pixelrec: un ensemble de données d'image pour les systèmes de recommandation d'analyse comparative avec des pixels bruts, SDM 2023/09 [papier] | [lien] | Images, texte, balises, 200 millions d'interactions
- Microlens: un ensemble de données de recommandation micro-vidéo axé sur le contenu à échelle [papier] [lien] [DeepMind Talk] | Images, texte, vidéo, audio, commentaires, balises, etc.
- Mind: un ensemble de données à grande échelle pour la recommandation d'actualités, ACL2020, [papier] | Texte
- Transfert économe en paramètres à partir de comportements séquentiels pour la modélisation et la recommandation des utilisateurs, Sigir 2020 [lien]
- Morec: [lien] Netflix: [lien] Amazon: [lien]
- Exploration de la prédiction CTR multi-modale multi-scénario avec un ensemble de données à grande échelle, Sigir 2024/07 [papier] | [lien] | Images, texte, multi-domaine, vrai négatif, 100 millions de données CTR
Enquête
- Une enquête sur les modèles de recommandation de grande langue, Arxiv 2023/05, [document]
- Comment les systèmes de recommandation peuvent-ils bénéficier de modèles de langue importants: une enquête, Arxiv 2023/06, [papier]
- Systèmes de recommandation à l'ère des grands modèles de langue, Arxiv, 2023/07, [papier]
- Une enquête sur l'évaluation des modèles de grandes langues, Arxiv, 2023/07, [papier]
- Apprentissage auto-supervisé pour les systèmes de recommandation: une enquête, Arxiv, 2023/06, [papier]
- PRE-TRAIN, rapide et recommandation: une étude complète des adaptations de paradigme de modélisation du langage dans les systèmes de recommandation, 2022/09, [document]
- Modélisation des utilisateurs à l'ère des modèles de grandes langues: Recherche actuelle et orientations futures, 2023/12, [papier]
- Modélisation des utilisateurs et profilage des utilisateurs: une enquête complète, 2024/02, [papier]
- Modèles de fondation pour les systèmes de recommandation: une enquête et de nouvelles perspectives, 2024/02, [document]
- Pré-entraînement multimodal, adaptation et génération pour recommandation: une enquête, 2024/05, [papier]
- Toutes les routes mènent à Rome: dévoiler la trajectoire des systèmes de recommandation à travers l'ère LLM, 2024/07, [papier]
Modèles de grande langue pour recommandation （LLM4REC）
Échelle LLM
- Capacités émergentes des grands modèles de langue, TMLR 2022/08, [papier]
- Exploration des limites supérieures du filtrage collaboratif basé sur le texte à l'aide de grands modèles de langage: découvertes et informations, Arxiv 2023/05, [papier]
- Les LLM comprennent-ils les préférences des utilisateurs? Évaluation des LLM sur la prédiction de l'évaluation des utilisateurs, Arxiv 2023/05, [papier]
- Échelle de la loi pour les modèles de recommandation: vers les représentations des utilisateurs à usage général, AAAI 2023, [papier]
Untra Wide & Deep & Long LLM
- Stackrec: Formation efficace des modèles de recommandation séquentiel très profonds par empilement itératif, Sigir 2021, [papier]
- Un cadre de sélection de couche adaptatif pour les modèles de recommandation séquentiel très profonds, AAAI 2021, [papier]
- Un cadre de compression de réseau générique pour les systèmes de recommandation séquentiels, Sigir 2020, [papier]
- Échelle de la loi des grands modèles de recommandation séquentielle, Arxiv 2023/11, [papier]
- Les actions parlent plus fort que les mots: transducteurs séquentiels paramètres de milliards de milliards de dollars pour les recommandations génératives, Arxiv 2024/03, [papier]
- Briser la barrière de la longueur: prédiction CTR améliorée par LLM dans les comportements utilisateur textuels longs, Sigir 2024, [Paper]
Tuning LLM
- CALREC: Alignement contrastif des LLMS génératifs pour une recommandation séquentielle, Recsys 2024, [papier]
- M6-REC: Les modèles génératifs de langage prétrainés sont des systèmes de recommandation ouverts, Arxiv 2022/05, [papier]
- TALLREC: Un cadre de réglage efficace et efficient pour aligner un grand modèle de langue avec la recommandation, Arxiv 2023/04, [papier]
- GPT4REC: A Generative Framework for Persualized Recommandation and User Interest Interpretation, 2023/04, [Paper]
- Un paradigme de mise à la terre en bi-pas pour les modèles de grandes langues dans les systèmes de recommandation, Arxiv, 2023/08, [papier]
- Llamarec: Recommandation en deux étapes utilisant des modèles de grands langues pour le classement, pgai @ cikm 2023, [papier] [Code]
- Amélioration des recommandations séquentielles avec LLMS, Arxiv 2024/02, [papier]
Freacing llm [lien]
- CTR-BERT: Distillation de connaissances rentable pour les modèles d'enseignants par milliards paramètres ， Arxiv 2022/04, [Paper]
- Vers les systèmes de recommandation conversationnelle unifiés via l'apprentissage rapide amélioré, Arxiv 2022/06, [papier]
- Recommandation générative: vers le paradigme de recommandation de nouvelle génération, Arxiv 2023/04, [papier]
- Exploration des limites supérieures du filtrage collaboratif basé sur le texte à l'aide de grands modèles de langage: découvertes et informations, Arxiv 2023/05, [papier]
- Un premier aperçu de la recommandation de nouvelles génératrices à propulsion LLM, Arxiv 2023/05, [papier]
- Systèmes de recommandation de préservation de la confidentialité avec génération de requêtes synthétiques à l'aide de modèles de langage de grande envergure différentiellement, ARXIV 2023/05, [papier]
- Recagent: un nouveau paradigme de simulation pour les systèmes de recommandation, Arxiv 2023/06, [papier]
- Recommandation de l'élément suivant à tirs zéro utilisant de grands modèles de langage pré-entraîné, Arxiv 2023/04, [papier]
- Chatgpt peut-il faire une recommandation équitable? Une référence d'évaluation de l'équité pour la recommandation avec un modèle grand langage, Recsys 2023
- Tirant parti de grands modèles de langue pour une recommandation séquentielle, Recsys 2023/09, [papier]
- LLMREC: Modèles de grande langue avec augmentation graphique pour recommandation, WSDM 2024 oral, [papier] [Code]
- Les intégres ID sont-ils nécessaires? Blantir les incorporations de texte pré-formées pour une recommandation séquentielle efficace, Arxiv 2024/02, [papier]
Invite avec LLM
- Les modèles de grands langues sont des rangs zéro-shot pour les systèmes de recommandation, Arxiv 2023/05, [papier]
- Recommandation en tant que traitement du langage (RLP): un paradigme invite et prédire personnalisé (P5), ARXIV 2022/03, [papier], ARXIV 2022/03, [papier]
- Modèles linguistiques en tant que systèmes de recommandation: évaluations et limitations, atelier de Neirips ICBINB 2021/10, [papier]
- Apprentissage rapide pour la recommandation de nouvelles, Sigir 2023/04, [papier]
- LLM-REC: Recommandation personnalisée via inviter de grands modèles de langue, Arxiv, 2023/07 [papier]
Chatgpt [lien]
- Chatgpt est un bon recommandateur une étude préliminaire, Arxiv 2023/04, [papier]
- Chatgpt est-il bon pour la recherche? Enquêter sur les modèles de grandes langues en tant qu'agent de relance, Arxiv 2023/04, [papier]
- CHAT-REC: Vers le système de recommandation interactif et explicable LLMS-Augmentation, Arxiv 2023/04, [papier]
- Recommandation en tant qu'instruction suivante: Une approche de recommandation autonome de grande langue, Arxiv 2023/05, [papier]
- Tirant parti de grands modèles de langage dans les systèmes de recommandation conversationnels, Arxiv 2023/05, [papier]
- Découvrir les capacités de ChatGPT dans les systèmes de recommandation, Arxiv 2023/05, [papier] [Code]
- Sparks of Artificial General Recqueder (AGR): Early Experiments with Chatgpt, Arxiv 2023/05, [papier]
- Chatgpt est-il juste pour recommandation? Évaluation de l'équité dans la recommandation du modèle de langue en grande langue, Arxiv 2023/05, [papier] [Code]
- Sparks of Artificial General Recqueder (AGR): Early Experiments with Chatgpt, Arxiv 2023/05, [papier]
- PALR: Personnalisation Aware LLMS for Recommandation, Arxiv 2023/05, [Paper]
- Systèmes de recommandation de préservation de la confidentialité avec génération de requêtes synthétiques à l'aide de modèles de langage de grande envergure différentiellement, ARXIV 2023/05, [papier]
- Repenser l'évaluation de la recommandation conversationnelle à l'ère des modèles de grands langues, Arxiv 2023/05, [papier]
- CTRL: Connectez le modèle tabulaire et linguistique pour la prédiction CTR, ARXIV 2023/06, [papier].
Système de recommandation multimodal
- VBPR: Visual Bayessian Persualized Classement à partir de la rétroaction implicite, AAAI2016, [papier]
- Formation contradictoire vers un système de recommandation multimédia robuste, TKDE2019, [papier]
- Graphiques de connaissances multimodales pour les systèmes de recommandation, CIKM 2020, [papier]
- Transformateur multimodal amélioré par la distillation en ligne pour une recommandation séquentielle, ACMMM 2023, [papier]
- Recommandation séquentielle multimodale auto-supervisée, ARXIV2023 / 02, [papier]
- FMMREC: Recommandation multimodale consciente de l'équité, ARXIV2023 / 10, [papier]
- Recommandation séquentielle multimodale auto-supervisée, Arxiv 2024/02, [papier]
- L'intégration d'ID comme caractéristiques subtiles du contenu et de la structure pour la recommandation multimodale, ARXIV2023 / 10, [papier]
- Amélioration de la fusion d'identité et de texte via une formation alternative en recommandation basée sur la session, ARXIV2023 / 2, [papier]
- BIVREC: Recommandation séquentielle multimodale basée sur la vue bidirectionnelle ， ARXIV2023 / 2, [Papier]
- Un modèle de langage important a amélioré le recommandateur séquentiel pour la recommandation de vidéo et de commentaires conjointes, ARXIV2024 / 2, [papier]
- Une étude empirique de la formation des recommandateurs séquentiels multimodaux d'identité d'identification, ARXIV2024 / 3, [papier]
- Tokenisation sémantique discrète pour la prédiction CTR profonde, ARXIV2024 / 3, [papier]
- Formation de bout en bout du modèle multimodal et du modèle de classement, ARXIV2023 / 3, [papier]
Fondation et modèles de recommandation transférables
- Transrec: Apprendre la recommandation transférable de la rétroaction du mélange de modalité, Arxiv 2022/06, [papier]
- Vers l'apprentissage de la représentation des séquences universels pour les systèmes de recommandation, KDD2022.2022 / 06, [papier]
- Représentation d'articles quantifiés sur le vecteur d'apprentissage pour les recommandateurs séquentiels transférables, www 2023, [papier] [Code]
- UP5: Modèle de fondation impartiale pour la recommandation consciente de l'équité, Arxiv 2023/05, [papier]
- Explorer l'apprentissage du transfert basé sur l'adaptateur pour les systèmes de recommandation: études empiriques et idées pratiques, Arxiv 2023/05, [document] [Code]
- OpenP5: Benchmarking Foundation Models for Recommandation, Arxiv 2023/06, [Paper]
- Modélisation approfondie de la recommandation pré-formée multi-domaines comme langue, arxiv 2023/10, [papier]
- MISSREC: Pré-formation et transfert de la séquence multimodale Aware-Aware Requence for Recommandation, Arxiv 2023/10, [Paper]
- Représentation collaborative des articles pré-formés par mot pour une recommandation transférable, Arxiv 2023/11, [papier]
- Recommandation pré-domaine multimodale universelle Recommandation, ARXIV 2023/11, [Papier]
- La multi-modalité est tout ce dont vous avez besoin pour les systèmes de recommandation transférables, Arxiv 2023, [papier]
- Transfr: Recommandation fédérée transférable avec des modèles de langage pré-formé, Arxiv 2024/02, [papier]
- Repenser la recommandation séquentielle du domaine croisé sous des hypothèses en monde ouvert, Arxiv 2024/02, [papier]
- Les modèles de grands langues rencontrent le filtrage collaboratif: un système de recommandation basé sur LLM efficace efficace, ARXIV 2024/04, [papier]
- Les modèles de langage codent les signaux collaboratifs dans la recommandation, Arxiv 2024/07, [papier]
Universal General-Urpose, One4Alt Representation Apprenting
- Transfert économe en paramètres à partir de comportements séquentiels pour la modélisation et la recommandation des utilisateurs, Sigir 2020, [papier], [Code]
- Une représentation utilisateur d'une seule fois pour les systèmes de recommandation dans le commerce électronique, Arxiv 2021, [papier]
- Apprendre des représentations utilisateur transférables avec des comportements séquentiels via la pré-formation contrastive, ICDM 2021, [papier]
- Fonction d'adaptation spécifique à l'utilisateur pour les recommandations de domaine croisé, TKDE 2021, [papier]
- Échelle de la loi pour les modèles de recommandation: vers les représentations des utilisateurs à usage général, AAAI 2023, [papier]
- U-BERT: Représentations des utilisateurs pré-formation pour une recommandation améliorée, AAAI 2021, [papier]
- Un pour tous, tous pour un: apprendre et transférer des intérêts des utilisateurs pour la recommandation de domaine croisé, WSDM 2022, [papier]
- Autoencoders variationnels conscients du terrain pour l'apprentissage de la représentation des utilisateurs à l'échelle des milliards, ICDE2022, [papier]
- Apprentissage de la représentation des utilisateurs universels à grande échelle avec un mélange clairsemé d'experts, ICML2022workshop, [papier]
- Multi DataSource LTV Représentation des utilisateurs (MDLUR), KDD2023, [papier]
- Rôle pivot de la modélisation du langage dans les systèmes de recommandation: enrichir l'apprentissage de la représentation spécifique à la tâche et aux tâches. ARXIV2022 / 12, [papier]
- Modélisation des utilisateurs et profilage des utilisateurs: une enquête complète, 2024/02, [papier]
- Représentations des utilisateurs généralisés pour le transfert d'apprentissage, Arxiv 2024/03, [papier]
- Langue de pontage et articles pour la récupération et la recommandation ， Arxiv 2024/04, [papier]
Apprentissage de la représentation des utilisateurs universels à vie
- Une personne, un modèle, un monde: apprendre la représentation continue des utilisateurs sans oublier, Sigir 2021, [papier], [code]
- Tenrec: un ensemble de données de référence polyvalent à grande échelle pour les systèmes de recommandation, Neirips 2022 [papier]
- STAN: Réseau adaptatif pour la scène pour la recommandation multi-tâches en apprenant RepresentationG-basé sur le cycle de vie des utilisateurs, Recsys 2023, [papier]
- Relation de la tâche - Aware continu Representation User Repreing Learning, KDD2023, [document]
- RELLA: Modèles de grand langage améliorés à la récupération pour la compréhension du comportement séquentiel à vie dans la recommandation, ARXIV2023 / 08, [papier]
Systèmes de recommandation génératifs [lien]
- Un réseau génératif convolutionnel simple pour la recommandation des articles suivants, WSDM 2018/08, [papier] [Code]
- Les données futures aident la formation: modélisation des contextes futurs pour la recommandation basée sur la session, www 2020/04, [papier] [Code]
- Recommandation via le modèle génératif de diffusion collaborative, KSEM 2022/08, [papier]
- Modèles de procédés de fusillaçage flou pour le filtrage collaboratif, Arxiv 2022/09, [papier]
- Recommandation d'ardoise générative avec apprentissage par renforcement, Arxiv 2023/01, [papier]
- Systèmes de recommandation avec récupération générative, Arxiv 2023/04, [papier]
- Diffurec: un modèle de diffusion pour la recommandation séquentielle, Arxiv 2023/04, [papier]
- Modèle de recommandation de diffusion, Arxiv 2023/04, [papier]
- Un premier aperçu de la recommandation de nouvelles génératrices à propulsion LLM, Arxiv 2023/05, [papier]
- Systèmes de recommandation avec récupération générative, Arxiv 2023/05, [papier]
- Récupération générative en tant que récupération dense, Arxiv 2023/06, [papier]
- Recfusion: un processus de diffusion binomiale pour les données 1D pour la recommandation, Arxiv 2023/06, [papier]
- Recommandation séquentielle générative avec GPTREC, Sigir Workshop 2023, [papier]
- Fans: Génération de séquences non autorégressive rapide pour la poursuite de la liste des articles, www 2023, [papier]
- Recommandation générative du basket Next, Recsys 2023
- Modèle de grande langue recommandations a augmenté les recommandations narratives, Recsys 2023, [papier]
- Lightlm: une recommandation de modélisation du modèle de langue profonde et étroite légère, Arxiv 2023/10, [papier]
Ressources connexes:
- Xiangyang li github [lien]
- nancheng58i github [lien]
- Enoche github [lien]
- Wlik github [lien]
- https://github.com/changel/aweson-llm-for-recsys
- https://medium.com/@lifengyi_6964/a-large-scale-short-video-recommender-ystem-dataset-160fdfe81b79
- https://medium.com/@lifengyi_6964/rethinking-the-id-paradigm-in-recommender-systems-the-rise-of-modality-98f449dec016
- https://medium.com/@lifengyi_6964/one-model-for-all-universal-recommern-system-82dab214a07d
- https://zhuanlan.zhihu.com/p/437671278
- https://zhuanlan.zhihu.com/p/675213913
- https://zhuanlan.zhihu.com/p/684805058
- https://zhuanlan.zhihu.com/p/665467596
