Recommendation Systems without Explicit ID Features A Literature Review

推奨システム用紙リストの基礎モデル

問題を開くか、プルリクエストを作成してください！

キーワード：推奨システム、前登録、大規模な言語モデル、マルチモーダル推奨システム、転送可能な推奨システム、ファンデーション推奨モデル、ユニバーサルユーザー表現、ワンモデルフィット、ID機能、IDエンミング

これらの論文は、次の質問に対処しようとします。

（1）推奨システムには、NLPやCVで使用されるものと同様の独自の基礎モデルを持つことができますか？

（2）IDの埋め込みは、推奨モデルに必要ですか？それを交換または分解できますか？

（3）推奨システムは、一致するパラダイムから生成パラダイムに移行しますか？

（4）LLMをどのように使用して推奨システムを強化できますか？

（5）マルチモーダル推奨システムの将来はどうなりますか？

ペーパーリスト

パースペクティブペーパー：ID対LLM＆ID対マルチモーダル

• 推奨システムのために次にどこに行くのですか？ ID-VS。モダリティベースの推奨モデルRevisited、SIGIR2023、2022/09、[Paper] [Code]
• 大規模な言語モデルを使用したテキストベースの共同フィルタリングの上限の調査：発見と洞察、ARXIV 2023/05、[Paper]
• 推奨システムのアダプターベースの転送学習の探索：実証研究と実用的な洞察、WSDM2024、[Paper] [Code]
• 部屋の象：順次推奨事前に訓練された言語モデルの使用を再考、ARXIV2024/04、[Paper]

転送可能またはマルチモーダルRsのデータセット

• NINEREC：転送可能な推奨事項を評価するためのベンチマークデータセットスイート、TPAMI2024、[Paper] [link] |画像、テキスト、9つのダウンストリームデータセット
• Tenrec：推奨システム用の大規模な多目的ベンチマークデータセット、Neurips2022 [Paper]
• PixelRec：生のピクセルを備えたベンチマーク推奨システムの画像データセット、SDM 2023/09 [Paper] | [link] |画像、テキスト、タグ、2億の相互作用
• マイクロレンズ：規模のコンテンツ駆動型マイクロビデオ推奨データセット[Paper] [link] [deepmind talk] |画像、テキスト、ビデオ、オーディオ、コメント、タグなど。
• 心：ニュース推奨のための大規模なデータセット、ACL2020、[Paper] |文章
• ユーザーモデリングと推奨のためのシーケンシャル動作からのパラメーター効率の高い転送、Sigir 2020 [リンク]
• Morec：[link] netflix：[link] amazon：[link]
• 大規模なデータセットでマルチセナリオマルチモーダルCTR予測の探索、SIGIR 2024/07 [Paper] | [link] |画像、テキスト、マルチドメイン、真のネガティブ、1億個のCTRデータ

調査

• 推奨のための大規模な言語モデルに関する調査、ARXIV 2023/05、[Paper]
• 推奨システムは、大規模な言語モデルからどのように利益を得ることができますか：調査、ARXIV 2023/06、[Paper]
• 大規模な言語モデルの時代の推奨システム、Arxiv、2023/07、[Paper]
• 大規模な言語モデルの評価に関する調査、ARXIV、2023/07、[Paper]
• 推奨システムのための自己監視学習：調査、ARXIV、2023/06、[Paper]
• トレイン前、迅速な、推奨事項：推奨システムでの言語モデリングパラダイム適応の包括的な調査、2022/09、[Paper]
• 大規模な言語モデルの時代におけるユーザーモデリング：現在の研究と将来の方向性、2023/12、[紙]
• ユーザーモデリングとユーザープロファイリング：包括的な調査、2024/02、[Paper]
• 推奨システムの基礎モデル：調査と新しい視点、2024/02、[Paper]
• 推奨のためのマルチモーダルの事前トレーニング、適応、および生成：調査、2024/05、[紙]
• すべての道路がローマにつながる：LLM ERA、2024/07、[Paper]にわたって推奨システムの軌跡を明らかにする

推奨のための大規模な言語モデル（LLM4REC）

スケーリングLLM

• 大規模な言語モデルの緊急能力、TMLR 2022/08、[Paper]
• 大規模な言語モデルを使用したテキストベースの共同フィルタリングの上限の調査：発見と洞察、ARXIV 2023/05、[Paper]
• LLMSはユーザーの好みを理解していますか？ユーザー評価予測でのLLMSの評価、ARXIV 2023/05、[Paper]
• 推奨モデルのスケーリング法：一般的なユーザー表現に向けて、AAAI 2023、[Paper]

Untra Wide＆Deep＆Long LLM

• StackRec：反復スタッキングによる非常に深いシーケンシャル推奨モデルの効率的なトレーニング、Sigir 2021、[Paper]
• 非常に深いシーケンシャル推奨モデルのユーザー適応レイヤー選択フレームワーク、AAAI 2021、[Paper]
• シーケンシャル推奨システムの一般的なネットワーク圧縮フレームワーク、SIGIR 2020、[Paper]
• 大規模な順次推奨モデルのスケーリング法、ARXIV 2023/11、[Paper]
• アクションは言葉よりも雄弁です：生成的推奨事項のための兆パラメーターシーケンシャルトランスデューサー、Arxiv 2024/03、[Paper]
• 長さの障壁の破壊：長いテキストユーザー行動におけるLLM強化CTR予測、Sigir 2024、[Paper]

チューニングLLM

• CalRec：連続的な推奨のための生成LLMの対照アラインメント、Recsys2024、[Paper]
• M6-REC：生成された前提条件のモデルは、オープンエデュースの推奨システムです、ARXIV 2022/05、[Paper]
• TallRec：大規模な言語モデルを推奨に合わせて効果的かつ効率的なチューニングフレームワーク、ARXIV 2023/04、[Paper]
• GPT4REC：パーソナライズされた推奨とユーザーの関心の解釈のための生成フレームワーク、2023/04、[Paper]
• 推奨システムにおける大規模な言語モデルのバイステップ接地パラダイム、ARXIV、2023/08、[Paper]
• llamarec：ランキングに大規模な言語モデルを使用した2段階の推奨、pgai@cikm 2023、[Paper] [code]
• LLMS、ARXIV 2024/02、[Paper]を使用した連続的な推奨事項の改善

フリーズLLM [リンク]

• CTR-BERT：10億パラメーター教師モデルの費用対効果の高い知識蒸留、ARXIV 2022/04、[Paper]
• ナレッジ強化プロンプトラーニング、ARXIV 2022/06、[Paper]を介した統一された会話推奨システムに向けて
• 生成的推奨事項：次世代の推奨パラダイム、ARXIV 2023/04、[Paper]に向けて
• 大規模な言語モデルを使用したテキストベースの共同フィルタリングの上限の調査：発見と洞察、ARXIV 2023/05、[Paper]
• LLM駆動の生成ニュースの推奨事項、Arxiv 2023/05、[Paper]の最初の見方
• 差次的にプライベートな大手言語モデルを使用した合成クエリ生成を備えたプライバシーを提供する推奨システム、ARXIV 2023/05、[Paper]
• Recagent：推奨システムの新しいシミュレーションパラダイム、ARXIV 2023/06、[Paper]
• ゼロショット次のアイテムの推奨大規模な前提条件モデルを使用したARXIV 2023/04、[Paper]
• ChatGptは公正な推奨を行うことができますか？大規模な言語モデルを使用した推奨のための公平性評価ベンチマーク、Recsys2023
• 連続的な推奨のために大規模な言語モデルを活用して、Recsys2023/09、[Paper]
• LLMREC：推奨のためのグラフの増強を備えた大規模な言語モデル、WSDM 2024 Oral、[Paper] [Code]
• ID埋め込みは必要ですか？効果的な順次推奨のための事前訓練を受けたテキスト埋め込み、ARXIV 2024/02、[Paper]

LLMでプロンプト

• 大規模な言語モデルは、推奨システムのゼロショットランカー、ARXIV 2023/05、[Paper]
• 言語処理としての推奨事項（RLP）：統一されたプレレイン、パーソナライズされたプロンプト＆予測パラダイム（P5）、ARXIV 2022/03、[Paper]
• 推奨システムとしての言語モデル：評価と制限、ニューリップスワークショップICBINB 2021/10、[Paper]
• ニュース推奨の迅速な学習、Sigir 2023/04、[Paper]
• LLM-REC：大規模な言語モデルの促進によるパーソナライズされた推奨、Arxiv、2023/07 [Paper]

chatgpt [link]

• Chatgptは良い推奨事項です。予備調査、Arxiv 2023/04、[Paper]
• ChatGptは検索が得意ですか？再ランキングエージェントとしての大規模な言語モデルの調査、ARXIV 2023/04、[Paper]
• Chat-Rec：インタラクティブで説明可能なLLMS-Augmented Ademender System、Arxiv 2023/04、[Paper]に向けて
• 次の命令としての推奨事項：大規模な言語モデルの権限を与えられた推奨アプローチ、ARXIV 2023/05、[Paper]
• 会話型推奨システムでの大規模な言語モデルの活用、ARXIV 2023/05、[Paper]
• 推奨システムにおけるChatGptの機能を明らかにする、ARXIV 2023/05、[Paper] [Code]
• 人工的な一般的な推奨事項（AGR）の火花：ChatGptを使用した初期の実験、Arxiv 2023/05、[Paper]
• ChatGptは推薦のために公平ですか？大規模な言語モデルの推奨事項での公平性の評価、ARXIV 2023/05、[Paper] [Code]
• 人工的な一般的な推奨事項（AGR）の火花：ChatGptを使用した初期の実験、Arxiv 2023/05、[Paper]
• PALR：推奨のためのパーソナライゼーションLLMS、Arxiv 2023/05、[Paper]
• 差次的にプライベートな大手言語モデルを使用した合成クエリ生成を備えたプライバシーを提供する推奨システム、ARXIV 2023/05、[Paper]
• 大規模な言語モデルの時代における会話の推奨事項の評価を再考、ARXIV 2023/05、[Paper]
• CTRL：CTR予測のための表形式および言語モデル、ARXIV 2023/06、[Paper]。

マルチモーダル推奨システム

• VBPR：Implicit Feedback、AAAI2016、[Paper]からのビジュアルベイジアンパーソナライズされたランキング
• 堅牢なマルチメディア推奨システム、TKDE2019、[Paper]への敵対的なトレーニング
• 推奨システムのマルチモーダルナレッジグラフ、CIKM 2020、[Paper]
• オンライン蒸留強化マルチモーダルトランスのための順次推奨、ACMMM 2023、[Paper]
• 自己教師のマルチモーダルシーケンシャル推奨、arxiv2023/02、[Paper]
• FMMREC：公平性を覚えているマルチモーダルの推奨、arxiv2023/10、[Paper]
• 自己教師のマルチモーダルシーケンシャル推奨、ARXIV 2024/02、[Paper]
• マルチモーダル推奨のコンテンツと構造の微妙な機能としてのID埋め込み、arxiv2023/10、[紙]
• セッションベースの推奨事項での代替トレーニングによるIDとテキストの融合の強化、ARXIV2023/2、[Paper]
• BIVREC：双方向ビューベースのマルチモーダルシーケンシャル推奨、ARXIV2023/2、[Paper]
• 大規模な言語モデルは、共同ビデオとコメントの推奨のためのシーケンシャル推奨を強化しましたarxiv2024/2、[Paper]
• トレーニングIDに依存しないマルチモーダルシーケンシャル推奨事項、ARXIV2024/3、[Paper]の実証的研究
• 深いCTR予測のための離散セマンティックトークン化、ARXIV2024/3、[Paper]
• マルチモーダルモデルとランキングモデルのエンドツーエンドトレーニング、ARXIV2023/3、[Paper]

基礎と転送可能な推奨モデル

• TransRec：混合前のフィードバックからの転送可能な推奨事項、ARXIV 2022/06、[Paper]
• 推奨システムのユニバーサルシーケンス表現学習、KDD2022,2022/06、[Paper]
• 導入可能な順次推薦者のためのベクター定量化されたアイテム表現の学習、www 2023、[Paper] [code]
• UP5：公平性を認識するための公平な財団モデル、ARXIV 2023/05、[Paper]
• 推奨システムのアダプターベースの転送学習の探索：実証研究と実用的な洞察、ARXIV 2023/05、[Paper] [Code]
• OpenP5：推奨のためのベンチマークファンデーションモデル、ARXIV 2023/06、[Paper]
• 言語としてのマルチドメインの事前訓練を受けた推奨事項の徹底的なモデリング、Arxiv 2023/10、[Paper]
• MISSREC：推奨のためのマルチモーダルの関心認識シーケンス表現のトレーニングと転送、ARXIV 2023/10、[Paper]
• 転送可能な推奨のための共同ワードベースの事前訓練のアイテム表現、ARXIV 2023/11、[Paper]
• ユニバーサルマルチモーダルマルチドメイン事前訓練を受けた推奨、Arxiv 2023/11、[Paper]
• マルチモダリティは、転送可能な推奨システム、ARXIV 2023、[Paper]に必要なすべてです
• transfr：事前に訓練された言語モデルを使用した譲渡可能なフェデレーションの推奨、ARXIV 2024/02、[Paper]
• Open-World仮定の下でのクロスドメインの連続的な推奨の再考、ARXIV 2024/02、[Paper]
• 大規模な言語モデルは、共同フィルタリングを満たしています：効率的なオールラウンドLLMベースの推奨システム、ARXIV 2024/04、[Paper]
• 言語モデルは、推奨で共同シグナルをエンコードします、ARXIV 2024/07、[Paper]

普遍的な汎用、1つのユーザー表現学習

• ユーザーモデリングと推奨のためのシーケンシャル動作からのパラメーター効率の高い転送、Sigir 2020、[Paper]、[code]
• e-commerce、arxiv 2021、[Paper]における推奨システムのOne4allユーザー表現
• 対照的なプリトレーニング、ICDM 2021、[Paper]を介した連続的な動作を伴う転送可能なユーザー表現の学習
• クロスドメインの推奨のためのユーザー固有の適応微調整、TKDE 2021、[Paper]
• 推奨モデルのスケーリング法：一般的なユーザー表現に向けて、AAAI 2023、[Paper]
• U-Bert：改善された推奨のためのトレーニング前のユーザー表現、AAAI 2021、[Paper]
• すべてのために1つ、すべて：クロスドメインの推奨のためのユーザー埋め込みの学習と転送、WSDM 2022、[Paper]
• 10億個のユーザー表現学習、ICDE2022、[Paper]のフィールドアウェアバリエーションオートエンコーダー
• 専門家のまばらな混合物を使用した大規模なユニバーサルユーザー表現の学習、ICML2022Workshop、[Paper]
• Multi DataSource LTVユーザー代表（MDLUR）、KDD2023、[Paper]
• 推奨システムにおける言語モデリングの極めて重要な役割：タスク固有およびタスクに依存しない表現学習の濃縮。 arxiv2022/12、[紙]
• ユーザーモデリングとユーザープロファイリング：包括的な調査、2024/02、[Paper]
• 転送学習のための一般化されたユーザー表現、ARXIV 2024/03、[Paper]
• 検索と推奨のための言語とアイテムの橋渡し、ARXIV 2024/04、[Paper]

生涯にわたるユニバーサルユーザー表現学習

• 1人、モデル、1つの世界：忘れずに継続的なユーザー表現を学習する、Sigir 2021、[Paper]、[code]
• Tenrec：推奨システム用の大規模な多目的ベンチマークデータセット、Neurips2022 [Paper]
• スタン：ユーザーライフサイクルベースの表現を学習することによるマルチタスクの推奨のためのステージ適応ネットワーク、Recsys2023、[Paper]
• タスク関係を認識している継続的なユーザー表現学習、KDD2023、[Paper]
• Rella：推奨における生涯順次動作理解のための検索強化大型言語モデル、ARXIV2023/08、[Paper]

生成的推奨システム[リンク]

• 次のアイテムの推奨のための単純な畳み込み生成ネットワーク、WSDM 2018/08、[Paper] [Code]
• 将来のデータはトレーニングを支援します：セッションベースの推奨のための将来のコンテキストのモデリング、www 2020/04、[Paper] [Code]
• 共同拡散生成モデル、KSEM 2022/08、[Paper]による推奨
• 共同フィルタリングのためのぼやけるシャープニングプロセスモデル、Arxiv 2022/09、[Paper]
• 補強学習による生成スレートの推奨、ARXIV 2023/01、[Paper]
• 生成検索を備えた推奨システム、ARXIV 2023/04、[Paper]
• Diffurec：連続的な推奨の拡散モデル、ARXIV 2023/04、[Paper]
• 拡散推奨モデル、ARXIV 2023/04、[Paper]
• LLM駆動の生成ニュースの推奨事項、Arxiv 2023/05、[Paper]の最初の見方
• 生成検索を備えた推奨システム、ARXIV 2023/05、[Paper]
• 密な検索としての生成検索、arxiv 2023/06、[論文]
• 和解：推奨用の1Dデータの二項拡散プロセス、ARXIV 2023/06、[Paper]
• GPTREC、SIGIRワークショップ2023、[Paper]を使用した生成シーケンシャル推奨
• ファン：アイテムリストの継続のための高速ではない非自動化シーケンス生成、www 2023、[Paper]
• 次のバスケットの推奨、Recsys 2023
• 大規模な言語モデルで拡張された物語主導の推奨事項、Recsys2023、[Paper]
• LightLM：軽量で狭い言語モデルの偽造推奨、Arxiv 2023/10、[Paper]

関連リソース：

• XiangyangLiGithub [リンク]
• nancheng58i github [link]
• Enoche Github [リンク]
• wlik github [リンク]
• https://github.com/chiangel/awesome-llm-for-recsys
• https://medium.com/@lifengyi_6964/a-large-scale-short-video-recommender-system-system-dataset-160fdfe81b79
• https://medium.com/@lifengyi_6964/rethinking-the-id-paradigm-in-recommender-systems-the-rise-of-rise-of-modality-98f449dec016
• https://medium.com/@lifengyi_6964/one-model-for-all-oniversal-recommender-system-82dab214a07d
• https://zhuanlan.zhihu.com/p/437671278
• https://zhuanlan.zhihu.com/p/675213913
• https://zhuanlan.zhihu.com/p/684805058
• https://zhuanlan.zhihu.com/p/665467596