Recommendation Systems without Explicit ID Features A Literature Review

推荐系统纸列表的基础模型

欢迎打开问题或提出请求！

关键字：推荐系统，预处理，大语言模型，多模式推荐系统，可转移的推荐系统，基础建议模型，通用用户表示，单模型拟合 - 全部，ID功能，ID嵌入

这些论文试图解决以下问题：

（1）推荐系统可以拥有自己的基础模型，类似于NLP和CV中使用的模型？

（2）建议模型是否需要嵌入ID，我们可以替换还是可以更换它？

（3）推荐系统是否会从匹配范式转移到生成范式？

（4）如何利用LLM来增强推荐系统？

（5）多模式推荐系统的未来有什么影响？

纸张清单

透视纸：ID与LLM＆ID与多模式

• 推荐系统下一步去哪里？ ID-VS。重新访问的基于模态的推荐模型，Sigir2023，2022/09，[Paper] [代码]
• 使用大语言模型探索基于文本的协作过滤的上限：发现和见解，Arxiv 2023/05，[Paper]
• 探索针对建议系统的基于适配器的转移学习：经验研究和实践见解，WSDM2024，[Paper] [代码]
• 房间中的大象：在顺序推荐中重新考虑预训练的语言模型的使用，Arxiv2024/04，[Paper]

可转移或多模式RS的数据集

• Ninerec：用于评估可转让建议的基准数据集套件，TPAMI2024，[Paper] [link] |图像，文字，九个下游数据集
• TenRec：推荐系统的大规模多功能基准数据集，Neurips 2022 [Paper]
• PixElRec：用于基准测试推荐系统的图像数据集，带有原始像素，SDM 2023/09 [Paper] | [链接] |图像，文字，标签，2亿互动
• Microlens：以内容驱动的微观视频推荐数据集[Paper] [link] [DeepMind Talk] |图像，文字，视频，音频，评论，标签等。
• 心理：一个大型数据集用于新闻推荐，ACL2020，[纸] |文本
• 参数效率从用户建模和建议的顺序行为转移，Sigir 2020 [link]
• MOREC：[链接] Netflix：[链接]亚马逊：[链接]
• 探索具有大型数据集的多模式多模式CTR预测，Sigir 2024/07 [Paper] | [link] |图像，文字，多域，真为负，1亿个CTR数据

民意调查

• 一项有关推荐大语模型的调查，ARXIV 2023/05，[纸]
• 推荐系统如何从大型语言模型中受益：调查，ARXIV 2023/06，[纸]
• 大型语言模型时代的推荐系统，Arxiv，2023/07，[纸]
• 关于大语模型评估的调查，Arxiv，2023/07，[纸]
• 推荐系统的自我监督学习：调查，ARXIV，2023/06，[纸]
• 预训练，及时和建议：推荐系统中的语言建模范式改编的全面调查，2022/09，[纸]
• 大语模型时代的用户建模：当前的研究和未来方向，2023/12，[纸]
• 用户建模和用户分析：全面调查，2024/02，[纸]
• 推荐系统的基础模型：调查和新观点，2024/02，[纸]
• 多模式预处理，适应和产生供推荐：调查，2024/05，[纸]
• 所有道路通往罗马：揭开LLM时代推荐系统的轨迹，2024/07，[纸]

推荐的大型语言模型（LLM4REC）

缩放LLM

• 大型语言模型的紧急能力，TMLR 2022/08，[纸]
• 使用大语言模型探索基于文本的协作过滤的上限：发现和见解，Arxiv 2023/05，[Paper]
• LLMS了解用户偏好吗？评估用户评级预测的LLM，ARXIV 2023/05，[PAPER]
• 推荐模型的缩放定律：迈向通用用户表示，AAAI 2023，[纸]

Untra宽，深度LLM

• StackRec：通过迭代堆叠对非常深的顺序推荐模型的有效培训，Sigir 2021，[Paper]
• 非常深的顺序推荐模型的用户自适应层选择框架，AAAI 2021，[Paper]
• 连续推荐系统的通用网络压缩框架，Sigir 2020，[Paper]
• 大型顺序推荐模型的缩放定律，Arxiv 2023/11，[纸]
• 动作胜于雄辩：生成推荐的几万亿参数顺序换能器，Arxiv 2024/03，[Paper]
• 打破长度障碍：长文本用户行为中的LLM增强CTR预测，Sigir 2024，[Paper]

调整LLM

• CALREC：生成LLM的对比度对齐，用于顺序推荐，Recsys 2024，[Paper]
• M6-REC：生成预审前的语言模型是开放式推荐系统，Arxiv 2022/05，[Paper]
• TallRec：一个有效而有效的调整框架，可将大型语言模型与建议相结合，Arxiv 2023/04，[Paper]
• GPT4REC：个性化推荐和用户兴趣解释的生成框架，2023/04，[Paper]
• 推荐系统中大型语言模型的双步接地范式，Arxiv，2023/08，[纸]
• Llamarec：使用大型语言模型进行排名的两阶段建议，PGAI@cikm 2023，[paper] [code]
• 通过LLMS提高顺序建议，ARXIV 2024/02，[纸]

冻结LLM [链接]

• CTR-BERT：数十亿参数教师模型，ARXIV 2022/04，[Paper]
• 通过知识增强的及时学习迈向统一的会话推荐系统，ARXIV 2022/06，[纸]
• 生成建议：朝着下一代推荐范式，Arxiv 2023/04，[Paper]
• 使用大语言模型探索基于文本的协作过滤的上限：发现和见解，Arxiv 2023/05，[Paper]
• 第一次看LLM驱动的生成新闻推荐，Arxiv 2023/05，[Paper]
• 具有综合查询生成的隐私推荐系统，使用私有大型语言模型，Arxiv 2023/05，[Paper]
• 递归：推荐系统的新型模拟范式，Arxiv 2023/06，[Paper]
• 使用大型语言模型，ARXIV 2023/04，[Paper]
• chatgpt可以做出公平的建议吗？大型语言模型推荐的公平评估基准，Recsys 2023
• 利用大型语言模型进行顺序推荐，recsys 2023/09，[纸]
• LLMREC：带有图形扩展的大型语言模型，推荐，WSDM 2024口头，[纸] [代码]
• ID是否需要嵌入？为有效顺序推荐的美白预训练的文本嵌入，ARXIV 2024/02，[纸]

提示使用LLM

• 大型语言模型是推荐系统的零摄像机排名，ARXIV 2023/05，[Paper]
• 建议作为语言处理（RLP）：统一的预处理，个性化提示和预测范式（P5），Arxiv 2022/03，[Paper]
• 语言模型作为推荐系统：评估和局限性，Neurips Workshop Icbinb 2021/10，[纸]
• 及时学习新闻推荐，Sigir 2023/04，[纸]
• LLM-REC：通过提示大型语言模型的个性化建议，Arxiv，2023/07 [Paper]

chatgpt [链接]

• 是一个很好的推荐人，一项初步研究，arxiv 2023/04，[纸]
• chatgpt擅长搜索吗？研究大型语言模型作为重新排列代理，Arxiv 2023/04，[纸]
• CHAT-REC：迈向交互式和可解释的LLMS启动推荐系统，Arxiv 2023/04，[Paper]
• 建议作为指令以下：大型语言模型授权推荐方法，ARXIV 2023/05，[纸]
• 在对话推荐系统中利用大型语言模型，Arxiv 2023/05，[纸]
• 发现Chatgpt在推荐系统中的功能，Arxiv 2023/05，[Paper] [代码]
• 人工通用推荐剂的火花（AGR）：与Chatgpt的早期实验，Arxiv 2023/05，[Paper]
• chatgpt是推荐的公平吗？评估大语言模型推荐中的公平性，Arxiv 2023/05，[paper] [代码]
• 人工通用推荐剂的火花（AGR）：与Chatgpt的早期实验，Arxiv 2023/05，[Paper]
• PALR：个性化意识到推荐的LLM，ARXIV 2023/05，[Paper]
• 具有综合查询生成的隐私推荐系统，使用私有大型语言模型，Arxiv 2023/05，[Paper]
• 重新考虑大语模型时代的评估对会话推荐的评估，Arxiv 2023/05，[Paper]
• CTRL：连接CTR预测的表格和语言模型，Arxiv 2023/06，[Paper]。

多模式推荐系统

• VBPR：视觉贝叶斯个性化排名来自隐式反馈，AAAI2016，[Paper]
• 对鲁棒多媒体推荐系统的对抗训练，TKDE2019，[纸]
• 推荐系统的多模式知识图，CIKM 2020，[纸]
• 在线蒸馏增强的多模式变压器用于顺序推荐，ACMMM 2023，[纸]
• 自我监督的多模式顺序推荐，arxiv2023/02，[纸]
• FMMREC：公平意识的多模式推荐，Arxiv2023/10，[Paper]
• 自我监督的多模式顺序推荐，ARXIV 2024/02，[纸]
• ID嵌入为多模式推荐的内容和结构的微妙特征，Arxiv2023/10，[Paper]
• 通过基于会话的建议在ARXIV2023/2中通过替代培训来增强ID和文本融合，[纸]
• Bivrec：基于双向视图的多模式顺序推荐，Arxiv2023/2，[纸]
• 大型语言模型增强了联合视频和评论建议的顺序推荐剂，ARXIV2024/2，[纸]
• 训练ID-无形多模式顺序推荐器的实证研究，ARXIV2024/3，[PAPER]
• 深入CTR预测的离散语义令牌化，ARXIV2024/3，[PAPER]
• 多模型模型和排名模型的端到端培训，ARXIV2023/3，[纸]

基础和可转让的建议型号

• Transrec：从模式反馈的混合物中学习可转移的建议，ARXIV 2022/06，[纸]
• 针对推荐系统的通用序列表示学习，KDD2022,2022/06，[纸]
• 学习矢量定量的项目表示，用于可转移的顺序推荐器，www 2023，[paper] [代码]
• UP5：公平意识推荐的无偏基础模型，Arxiv 2023/05，[Paper]
• 探索基于适配器的推荐系统的转移学习：经验研究和实践见解，Arxiv 2023/05，[Paper] [代码]
• OpenP5：推荐基础测试基础模型，Arxiv 2023/06，[Paper]
• 将多域预培训的建议彻底建模为语言，Arxiv 2023/10，[纸]
• Missrec：推荐的预训练和转移多模式感兴趣的序列表示，Arxiv 2023/10，[Paper]
• 基于协作单词的预培训项目表示，可转让建议，ARXIV 2023/11，[PAPER]
• 通用多模式多域预训练的建议，ARXIV 2023/11，[纸]
• 多模式是您需要转移的推荐系统所需的一切，Arxiv 2023，[Paper]
• Transfr：具有预训练的语言模型的可转让联邦建议，Arxiv 2024/02，[Paper]
• 在开放世界假设下重新思考跨域顺序建议，Arxiv 2024/02，[Paper]
• 大型语言模型符合协作过滤：一个有效的全LLM推荐系统，ARXIV 2024/04，[PAPER]
• 语言模型在推荐中编码协作信号，ARXIV 2024/07，[PAPER]

通用通用，One4All用户表示学习

• 参数效率从用户建模和建议的顺序行为转移，Sigir 2020，[Paper]，[代码]
• Ene44 All用户表示，用于电子商务的推荐系统，ARXIV 2021，[PAPER]
• 通过对比前训练，ICDM 2021，[PAPER]学习可转移的用户表示形式，以顺序行为
• 跨域建议的用户特定自适应微调，TKDE 2021，[纸]
• 推荐模型的缩放定律：迈向通用用户表示，AAAI 2023，[纸]
• U-Bert：改进建议的预培训用户表示，AAAI 2021，[Paper]
• 一个全部，全部：学习和转移用户嵌入跨域推荐，WSDM 2022，[Paper]
• 数十亿个尺度用户表示学习的现场感知自动编码器，ICDE2022，[Paper]
• 学习大规模的通用用户表示，专家的稀疏混合物，ICML2022Workshop，[Paper]
• Multi DataSource LTV用户表示（MDLUR），KDD2023，[PAPER]
• 语言建模在推荐系统中的关键作用：丰富特定于任务和任务无关的表示。 Arxiv2022/12，[纸]
• 用户建模和用户分析：全面调查，2024/02，[纸]
• 转移学习的广义用户表示，ARXIV 2024/03，[纸]
• 桥接语言和项目用于检索和建议，Arxiv 2024/04，[纸]

终身通用用户表示学习

• 一个人，一个模型，一个世界：学习持续的用户表示而无需忘记，Sigir 2021，[Paper]，[代码]
• TenRec：推荐系统的大规模多功能基准数据集，Neurips 2022 [Paper]
• Stan：学习用户基于生命周期的表示阶段推荐的阶段自适应网络，Recsys 2023，[Paper]
• 任务关系感知持续的用户表示学习，KDD2023，[纸]
• RELLA：推荐中的终身顺序行为理解的检索增强的大语言模型，ARXIV2023/08，[Paper]

生成推荐系统[链接]

• 一个简单的卷积生成网络，用于下一个项目推荐，WSDM 2018/08，[Paper] [代码]
• 未来数据帮助培训：建模基于会话建议的未来上下文，www 2020/04，[Paper] [代码]
• 通过协作扩散生成模型的推荐，KSEM 2022/08，[Paper]
• 合作过滤的模糊过程模型，ARXIV 2022/09，[Paper]
• 增强学习的生成板岩建议，ARXIV 2023/01，[纸]
• 具有生成检索的推荐系统，ARXIV 2023/04，[纸]
• 扩散：顺序推荐的扩散模型，Arxiv 2023/04，[Paper]
• 扩散推荐模型，Arxiv 2023/04，[纸]
• 第一次看LLM驱动的生成新闻推荐，Arxiv 2023/05，[Paper]
• 具有生成检索的推荐系统，Arxiv 2023/05，[纸]
• 生成试验作为密集检索，Arxiv 2023/06，[纸]
• 接收：用于推荐的1D数据的二项式扩散过程，ARXIV 2023/06，[纸]
• 使用GPTREC，Sigir Workshop 2023的生成顺序推荐，[纸]
• 粉丝：项目清单持续的快速非小动物序列生成，www 2023，[纸]
• 生成的下一键推荐，recsys 2023
• 大型语言模型增强叙事驱动的建议，Recsys 2023，[纸]
• Lightlm：一种轻巧的深度和狭窄的语言模型宽恕建议，Arxiv 2023/10，[Paper]

相关资源：

• Xiangyang li github [链接]
• Nancheng58i github [链接]
• Enoche Github [链接]
• wlik github [链接]
• https://github.com/chiangel/awesome-llm-for-recsys
• https://medium.com/@lifengyi_6964/a-large-scale-scale-scale-scale-video-recommender-system-system-dataset-160fdfe81b79
• https://medium.com/@lifengyi_6964/rethinking-the-the--iid-paradigm-in-recommender-systems-the-modality-98f449dec016
• https://medium.com/@lifengyi_6964/oone-model-for-all-universal-recommender-system-82dab214a07d
• https://zhuanlan.zhihu.com/p/437671278
• https://zhuanlan.zhihu.com/p/675213913
• https://zhuanlan.zhihu.com/p/684805058
• https://zhuanlan.zhihu.com/p/665467596