Recommendation Systems without Explicit ID Features A Literature Review

推薦系​​統紙列表的基礎模型

歡迎打開問題或提出請求！

關鍵字：推薦系統，預處理，大語言模型，多模式推薦系統，可轉移的推薦系統，基礎建議模型，通用用戶表示，單模型擬合 - 全部，ID功能，ID嵌入

這些論文試圖解決以下問題：

（1）推薦系統可以擁有自己的基礎模型，類似於NLP和CV中使用的模型？

（2）建議模型是否需要嵌入ID，我們可以替換還是可以更換它？

（3）推薦系統是否會從匹配範式轉移到生成範式？

（4）如何利用LLM來增強推薦系統？

（5）多模式推薦系統的未來有什麼影響？

紙張清單

透視紙：ID與LLM＆ID與多模式

• 推薦系​​統下一步去哪裡？ ID-VS。重新訪問的基於模態的推薦模型，Sigir2023，2022/09，[Paper] [代碼]
• 使用大語言模型探索基於文本的協作過濾的上限：發現和見解，Arxiv 2023/05，[Paper]
• 探索針對建議系統的基於適配器的轉移學習：經驗研究和實踐見解，WSDM2024，[Paper] [代碼]
• 房間中的大象：在順序推薦中重新考慮預訓練的語言模型的使用，Arxiv2024/04，[Paper]

可轉移或多模式RS的數據集

• Ninerec：用於評估可轉讓建議的基準數據集套件，TPAMI2024，[Paper] [link] |圖像，文字，九個下游數據集
• TenRec：推薦系統的大規模多功能基準數據集，Neurips 2022 [Paper]
• PixElRec：用於基準測試推薦系統的圖像數據集，帶有原始像素，SDM 2023/09 [Paper] | [鏈接] |圖像，文字，標籤，2億互動
• Microlens：以內容驅動的微觀視頻推薦數據集[Paper] [link] [DeepMind Talk] |圖像，文字，視頻，音頻，評論，標籤等。
• 心理：一個大型數據集用於新聞推薦，ACL2020，[紙] |文本
• 參數效率從用戶建模和建議的順序行為轉移，Sigir 2020 [link]
• MOREC：[鏈接] Netflix：[鏈接]亞馬遜：[鏈接]
• 探索具有大型數據集的多模式多模式CTR預測，Sigir 2024/07 [Paper] | [link] |圖像，文字，多域，真為負，1億個CTR數據

民意調查

• 一項有關推薦大語模型的調查，ARXIV 2023/05，[紙]
• 推薦系​​統如何從大型語言模型中受益：調查，ARXIV 2023/06，[紙]
• 大型語言模型時代的推薦系統，Arxiv，2023/07，[紙]
• 關於大語模型評估的調查，Arxiv，2023/07，[紙]
• 推薦系​​統的自我監督學習：調查，ARXIV，2023/06，[紙]
• 預訓練，及時和建議：推薦系統中的語言建模範式改編的全面調查，2022/09，[紙]
• 大語模型時代的用戶建模：當前的研究和未來方向，2023/12，[紙]
• 用戶建模和用戶分析：全面調查，2024/02，[紙]
• 推薦系​​統的基礎模型：調查和新觀點，2024/02，[紙]
• 多模式預處理，適應和產生供推薦：調查，2024/05，[紙]
• 所有道路通往羅馬：揭開LLM時代推薦系統的軌跡，2024/07，[紙]

推薦的大型語言模型（LLM4REC）

縮放LLM

• 大型語言模型的緊急能力，TMLR 2022/08，[紙]
• 使用大語言模型探索基於文本的協作過濾的上限：發現和見解，Arxiv 2023/05，[Paper]
• LLMS了解用戶偏好嗎？評估用戶評級預測的LLM，ARXIV 2023/05，[PAPER]
• 推薦模型的縮放定律：邁向通用用戶表示，AAAI 2023，[紙]

Untra寬，深度LLM

• StackRec：通過迭代堆疊對非常深的順序推薦模型的有效培訓，Sigir 2021，[Paper]
• 非常深的順序推薦模型的用戶自適應層選擇框架，AAAI 2021，[Paper]
• 連續推薦系統的通用網絡壓縮框架，Sigir 2020，[Paper]
• 大型順序推薦模型的縮放定律，Arxiv 2023/11，[紙]
• 動作勝於雄辯：生成推薦的幾萬億參數順序換能器，Arxiv 2024/03，[Paper]
• 打破長度障礙：長文本用戶行為中的LLM增強CTR預測，Sigir 2024，[Paper]

調整LLM

• CALREC：生成LLM的對比度對齊，用於順序推薦，Recsys 2024，[Paper]
• M6-REC：生成預審前的語言模型是開放式推薦系統，Arxiv 2022/05，[Paper]
• TallRec：一個有效而有效的調整框架，可將大型語言模型與建議相結合，Arxiv 2023/04，[Paper]
• GPT4REC：個性化推薦和用戶興趣解釋的生成框架，2023/04，[Paper]
• 推薦系​​統中大型語言模型的雙步接地範式，Arxiv，2023/08，[紙]
• Llamarec：使用大型語言模型進行排名的兩階段建議，PGAI@cikm 2023，[paper] [code]
• 通過LLMS提高順序建議，ARXIV 2024/02，[紙]

凍結LLM [鏈接]

• CTR-BERT：數十億參數教師模型，ARXIV 2022/04，[Paper]
• 通過知識增強的及時學習邁向統一的會話推薦系統，ARXIV 2022/06，[紙]
• 生成建議：朝著下一代推薦範式，Arxiv 2023/04，[Paper]
• 使用大語言模型探索基於文本的協作過濾的上限：發現和見解，Arxiv 2023/05，[Paper]
• 第一次看LLM驅動的生成新聞推薦，Arxiv 2023/05，[Paper]
• 具有綜合查詢生成的隱私推薦系統，使用私有大型語言模型，Arxiv 2023/05，[Paper]
• 遞歸：推薦系統的新型模擬範式，Arxiv 2023/06，[Paper]
• 使用大型語言模型，ARXIV 2023/04，[Paper]
• chatgpt可以做出公平的建議嗎？大型語言模型推薦的公平評估基準，Recsys 2023
• 利用大型語言模型進行順序推薦，recsys 2023/09，[紙]
• LLMREC：帶有圖形擴展的大型語言模型，推薦，WSDM 2024口頭，[紙] [代碼]
• ID是否需要嵌入？為有效順序推薦的美白預訓練的文本嵌入，ARXIV 2024/02，[紙]

提示使用LLM

• 大型語言模型是推薦系統的零攝像機排名，ARXIV 2023/05，[Paper]
• 建議作為語言處理（RLP）：統一的預處理，個性化提示和預測範式（P5），Arxiv 2022/03，[Paper]
• 語言模型作為推薦系統：評估和局限性，Neurips Workshop Icbinb 2021/10，[紙]
• 及時學習新聞推薦，Sigir 2023/04，[紙]
• LLM-REC：通過提示大型語言模型的個性化建議，Arxiv，2023/07 [Paper]

chatgpt [鏈接]

• 是一個很好的推薦人，一項初步研究，arxiv 2023/04，[紙]
• chatgpt擅長搜索嗎？研究大型語言模型作為重新排列代理，Arxiv 2023/04，[紙]
• CHAT-REC：邁向交互式和可解釋的LLMS啟動推薦系統，Arxiv 2023/04，[Paper]
• 建議作為指令以下：大型語言模型授權推薦方法，ARXIV 2023/05，[紙]
• 在對話推薦系統中利用大型語言模型，Arxiv 2023/05，[紙]
• 發現Chatgpt在推薦系統中的功能，Arxiv 2023/05，[Paper] [代碼]
• 人工通用推薦劑的火花（AGR）：與Chatgpt的早期實驗，Arxiv 2023/05，[Paper]
• chatgpt是推薦的公平嗎？評估大語言模型推薦中的公平性，Arxiv 2023/05，[paper] [代碼]
• 人工通用推薦劑的火花（AGR）：與Chatgpt的早期實驗，Arxiv 2023/05，[Paper]
• PALR：個性化意識到推薦的LLM，ARXIV 2023/05，[Paper]
• 具有綜合查詢生成的隱私推薦系統，使用私有大型語言模型，Arxiv 2023/05，[Paper]
• 重新考慮大語模型時代的評估對會話推薦的評估，Arxiv 2023/05，[Paper]
• CTRL：連接CTR預測的表格和語言模型，Arxiv 2023/06，[Paper]。

多模式推薦系統

• VBPR：視覺貝葉斯個性化排名來自隱式反饋，AAAI2016，[Paper]
• 對魯棒多媒體推薦系統的對抗訓練，TKDE2019，[紙]
• 推薦系​​統的多模式知識圖，CIKM 2020，[紙]
• 在線蒸餾增強的多模式變壓器用於順序推薦，ACMMM 2023，[紙]
• 自我監督的多模式順序推薦，arxiv2023/02，[紙]
• FMMREC：公平意識的多模式推薦，Arxiv2023/10，[Paper]
• 自我監督的多模式順序推薦，ARXIV 2024/02，[紙]
• ID嵌入為多模式推薦的內容和結構的微妙特徵，Arxiv2023/10，[Paper]
• 通過基於會話的建議在ARXIV2023/2中通過替代培訓來增強ID和文本融合，[紙]
• Bivrec：基於雙向視圖的多模式順序推薦，Arxiv2023/2，[紙]
• 大型語言模型增強了聯合視頻和評論建議的順序推薦劑，ARXIV2024/2，[紙]
• 訓練ID-無形多模式順序推薦器的實證研究，ARXIV2024/3，[PAPER]
• 深入CTR預測的離散語義令牌化，ARXIV2024/3，[PAPER]
• 多模型模型和排名模型的端到端培訓，ARXIV2023/3，[紙]

基礎和可轉讓的建議型號

• Transrec：從模式反饋的混合物中學習可轉移的建議，ARXIV 2022/06，[紙]
• 針對推薦系統的通用序列表示學習，KDD2022,2022/06，[紙]
• 學習矢量定量的項目表示，用於可轉移的順序推薦器，www 2023，[paper] [代碼]
• UP5：公平意識推薦的無偏基礎模型，Arxiv 2023/05，[Paper]
• 探索基於適配器的推薦系統的轉移學習：經驗研究和實踐見解，Arxiv 2023/05，[Paper] [代碼]
• OpenP5：推薦基礎測試基礎模型，Arxiv 2023/06，[Paper]
• 將多域預培訓的建議徹底建模為語言，Arxiv 2023/10，[紙]
• Missrec：推薦的預訓練和轉移多模式感興趣的序列表示，Arxiv 2023/10，[Paper]
• 基於協作單詞的預培訓項目表示，可轉讓建議，ARXIV 2023/11，[PAPER]
• 通用多模式多域預訓練的建議，ARXIV 2023/11，[紙]
• 多模式是您需要轉移的推薦系統所需的一切，Arxiv 2023，[Paper]
• Transfr：具有預訓練的語言模型的可轉讓聯邦建議，Arxiv 2024/02，[Paper]
• 在開放世界假設下重新思考跨域順序建議，Arxiv 2024/02，[Paper]
• 大型語言模型符合協作過濾：一個有效的全LLM推薦系統，ARXIV 2024/04，[PAPER]
• 語言模型在推薦中編碼協作信號，ARXIV 2024/07，[PAPER]

通用通用，One4All用戶表示學習

• 參數效率從用戶建模和建議的順序行為轉移，Sigir 2020，[Paper]，[代碼]
• Ene44 All用戶表示，用於電子商務的推薦系統，ARXIV 2021，[PAPER]
• 通過對比前訓練，ICDM 2021，[PAPER]學習可轉移的用戶表示形式，以順序行為
• 跨域建議的用戶特定自適應微調，TKDE 2021，[紙]
• 推薦模型的縮放定律：邁向通用用戶表示，AAAI 2023，[紙]
• U-Bert：改進建議的預培訓用戶表示，AAAI 2021，[Paper]
• 一個全部，全部：學習和轉移用戶嵌入跨域推薦，WSDM 2022，[Paper]
• 數十億個尺度用戶表示學習的現場感知自動編碼器，ICDE2022，[Paper]
• 學習大規模的通用用戶表示，專家的稀疏混合物，ICML2022Workshop，[Paper]
• Multi DataSource LTV用戶表示（MDLUR），KDD2023，[PAPER]
• 語言建模在推薦系統中的關鍵作用：豐富特定於任務和任務無關的表示。 Arxiv2022/12，[紙]
• 用戶建模和用戶分析：全面調查，2024/02，[紙]
• 轉移學習的廣義用戶表示，ARXIV 2024/03，[紙]
• 橋接語言和項目用於檢索和建議，Arxiv 2024/04，[紙]

終身通用用戶表示學習

• 一個人，一個模型，一個世界：學習持續的用戶表示而無需忘記，Sigir 2021，[Paper]，[代碼]
• TenRec：推薦系統的大規模多功能基準數據集，Neurips 2022 [Paper]
• Stan：學習用戶基於生命週期的表示階段推薦的階段自適應網絡，Recsys 2023，[Paper]
• 任務關係感知持續的用戶表示學習，KDD2023，[紙]
• RELLA：推薦中的終身順序行為理解的檢索增強的大語言模型，ARXIV2023/08，[Paper]

生成推薦系統[鏈接]

• 一個簡單的捲積生成網絡，用於下一個項目推薦，WSDM 2018/08，[Paper] [代碼]
• 未來數據幫助培訓：建模基於會話建議的未來上下文，www 2020/04，[Paper] [代碼]
• 通過協作擴散生成模型的推薦，KSEM 2022/08，[Paper]
• 合作過濾的模糊過程模型，ARXIV 2022/09，[Paper]
• 增強學習的生成板岩建議，ARXIV 2023/01，[紙]
• 具有生成檢索的推薦系統，ARXIV 2023/04，[紙]
• 擴散：順序推薦的擴散模型，Arxiv 2023/04，[Paper]
• 擴散推薦模型，Arxiv 2023/04，[紙]
• 第一次看LLM驅動的生成新聞推薦，Arxiv 2023/05，[Paper]
• 具有生成檢索的推薦系統，Arxiv 2023/05，[紙]
• 生成試驗作為密集檢索，Arxiv 2023/06，[紙]
• 接收：用於推薦的1D數據的二項式擴散過程，ARXIV 2023/06，[紙]
• 使用GPTREC，Sigir Workshop 2023的生成順序推薦，[紙]
• 粉絲：項目清單持續的快速非小動物序列生成，www 2023，[紙]
• 生成的下一鍵推薦，recsys 2023
• 大型語言模型增強敘事驅動的建議，Recsys 2023，[紙]
• Lightlm：一種輕巧的深度和狹窄的語言模型寬恕建議，Arxiv 2023/10，[Paper]

相關資源：

• Xiangyang li github [鏈接]
• Nancheng58i github [鏈接]
• Enoche Github [鏈接]
• wlik github [鏈接]
• https://github.com/chiangel/awesome-llm-for-recsys
• https://medium.com/@lifengyi_6964/a-large-scale-scale-scale-scale-video-recommender-system-system-dataset-160fdfe81b79
• https://medium.com/@lifengyi_6964/rethinking-the-the--iid-paradigm-in-recommender-systems-the-modality-98f449dec016
• https://medium.com/@lifengyi_6964/oone-model-for-all-universal-recommender-system-82dab214a07d
• https://zhuanlan.zhihu.com/p/437671278
• https://zhuanlan.zhihu.com/p/675213913
• https://zhuanlan.zhihu.com/p/684805058
• https://zhuanlan.zhihu.com/p/665467596