Recommendation Systems without Explicit ID Features A Literature Review

추천 시스템 종이 목록을위한 기초 모델

문제를 열거 나 풀어 요청을받는 데 오신 것을 환영합니다!

키워드 : 추천 시스템, 프리 트레인, 대형 언어 모델, 멀티 모달 추천 시스템, 전송 가능한 추천 시스템, 재단 추천 모델, 유니버설 사용자 표현, 1 모델, ID 기능, ID 임베딩

이 논문은 다음과 같은 질문을 해결하려고 시도합니다.

(1) 추천 시스템에 NLP 및 CV에 사용되는 것과 유사한 자체 기초 모델이 있습니까?

(2) 추천 모델에 ID 포함이 필요합니까? 교체하거나 대체 할 수 있습니까?

(3) 추천 시스템이 일치하는 패러다임에서 생성 패러다임으로 전환됩니까?

(4) LLM을 추천 시스템을 향상시키기 위해 어떻게 활용할 수 있습니까?

(5) 멀티 모달 추천 시스템의 미래는 무엇을 유지합니까?

종이 목록

관점 용지 : ID 대 LLM & ID 대 다중 모드

• 추천 시스템을 위해 다음에 어디로 가야합니까? ID-VS. 양식 기반 추천자 모델 Revisited, Sigir2023, 2022/09, [논문] [코드]
• 큰 언어 모델을 사용한 텍스트 기반 협업 필터링의 상한 탐색 : 발견 및 통찰력, ARXIV 2023/05, [논문]
• 추천 시스템에 대한 어댑터 기반 전송 학습 탐색 : 경험적 연구 및 실질적인 통찰력, WSDM2024, [논문] [코드]
• 방에있는 코끼리 : 순차적 권장에서 미리 훈련 된 언어 모델의 사용을 다시 생각하면 Arxiv2024/04, [종이]

전송 가능 또는 멀티 모달 R의 데이터 세트

• Ninerec : 전송 가능한 권장 사항을 평가하기위한 벤치 마크 데이터 세트 제품군, TPAMI2024, [용지] [링크] | 이미지, 텍스트, 9 개의 다운 스트림 데이터 세트
• TENREC : 추천 시스템을위한 대규모 다목적 벤치 마크 데이터 세트, Neurips 2022 [종이]
• Pixelrec : 원시 픽셀을 갖춘 추천 시스템 벤치마킹 추천 시스템, SDM 2023/09 [용지] | [링크] | 이미지, 텍스트, 태그, 2 억 상호 작용
• Microlens : 컨텐츠 중심의 마이크로 비디오 추천 데이터 세트 (Scale) [논문] [링크] [DeepMind Talk] | 이미지, 텍스트, 비디오, 오디오, 댓글, 태그 등
• 마음 : 뉴스 추천을위한 대규모 데이터 세트, ACL2020, [종이] | 텍스트
• 사용자 모델링 및 추천을위한 순차적 동작에서 매개 변수 효율적인 전송, SIGIR 2020 [Link]
• Morec : [Link] Netflix : [Link] Amazon : [Link]
• 대규모 데이터 세트를 사용하여 멀티 스케나 리오 멀티 모달 CTR 예측 탐색, SIGIR 2024/07 [논문] | [링크] | 이미지, 텍스트, 다중 도메인, 진정한 음수, 1 억 개의 CTR 데이터

조사

• 추천을위한 대형 언어 모델에 대한 설문 조사, ARXIV 2023/05, [종이]
• 추천 시스템이 대형 언어 모델의 혜택을 얻을 수있는 방법 : 설문 조사, ARXIV 2023/06, [종이]
• 대형 언어 모델 시대의 추천 시스템, Arxiv, 2023/07, [종이]
• 대형 언어 모델 평가에 대한 설문 조사, Arxiv, 2023/07, [논문]
• 추천 시스템에 대한 자체 감독 학습 : 설문 조사, Arxiv, 2023/06, [논문]
• 사전 훈련, 프롬프트 및 권장 사항 : 추천 시스템의 언어 모델링 패러다임 적응에 대한 포괄적 인 설문 조사, 2022/09, [논문]
• 대형 언어 모델 시대의 사용자 모델링 : 현재 연구 및 향후 방향, 2023/12, [논문]
• 사용자 모델링 및 사용자 프로파일 링 : 포괄적 인 설문 조사, 2024/02, [논문]
• 추천 시스템의 기초 모델 : 설문 조사 및 새로운 관점, 2024/02, [논문]
• 멀티 모달 사전 조정, 적응 및 권장 사항 세대 : 설문 조사, 2024/05, [종이]
• 모든 도로는 로마로 이어지는 것 : LLM 시대, 2024/07, [종이] 전반에 걸쳐 추천 시스템의 궤적을 공개합니다.

권장 사항을위한 대형 언어 모델 (llm4rec)

LLM 스케일링

• 대형 언어 모델의 출현 능력, TMLR 2022/08, [종이]
• 큰 언어 모델을 사용한 텍스트 기반 협업 필터링의 상한 탐색 : 발견 및 통찰력, ARXIV 2023/05, [논문]
• LLM은 사용자 선호도를 이해합니까? 사용자 등급 예측에 대한 LLM 평가, ARXIV 2023/05, [논문]
• 추천 모델을위한 스케일링 법 : 일반 목적 사용자 표현, AAAI 2023, [논문]

Untra Wide & Deep & Long LLM

• STACKREC : 반복적 인 스태킹에 의한 매우 깊은 순차적 인 추천자 모델의 효율적인 교육, Sigir 2021, [종이]
• 매우 깊은 순차적 인 추천자 모델을위한 사용자 조정 계층 선택 프레임 워크, AAAI 2021, [논문]
• 순차적 인 추천 시스템을위한 일반적인 네트워크 압축 프레임 워크, Sigir 2020, [논문]
• 대규모 순차적 권장 모델의 스케일링 법, ARXIV 2023/11, [종이]
• 행동은 말보다 더 크게 말합니다 : 생성 권장 사항을위한조차 파라미터 순차 변환기, Arxiv 2024/03, [종이]
• 길이 장벽을 깨기 : 긴 텍스트 사용자 행동에서 LLM이 강화 된 CTR 예측, Sigir 2024, [논문]

LLM 조정

• CALREC : 순차적 권장을위한 생성 LLM의 대비 정렬, Resys 2024, [종이]
• M6-REC : 생성 사전 법적 언어 모델은 개방형 추천 시스템, ARXIV 2022/05, [종이]입니다.
• Tallrec : 대형 언어 모델을 권장 사항으로 정렬하는 효과적이고 효율적인 튜닝 프레임 워크, ARXIV 2023/04, [논문]
• GPT4REC : 개인화 된 추천 및 사용자 관심사 해석을위한 생성 프레임 워크, 2023/04, [논문]
• 추천 시스템의 대형 언어 모델에 대한 2 단계 접지 패러다임, ARXIV, 2023/08, [종이]
• llamarec : 순위를 위해 큰 언어 모델을 사용하는 2 단계 권장 사항, pgai@cikm 2023, [종이] [코드]
• LLMS의 순차 권장 사항 개선, ARXIV 2024/02, [종이]

동결 LLM [링크]

• CTR-Bert : 10 억 파라미터 교사 모델에 대한 비용 효율적인 지식 증류, ARXIV 2022/04, [논문]
• 지식 향상 신속한 학습을 ​​통한 통합 대화 추천 시스템으로, ARXIV 2022/06, [논문]
• 생성 권장 사항 : 차세대 추천자 패러다임, ARXIV 2023/04, [종이]
• 큰 언어 모델을 사용한 텍스트 기반 협업 필터링의 상한 탐색 : 발견 및 통찰력, ARXIV 2023/05, [논문]
• LLM 기반 생성 뉴스 추천에 대한 첫 번째 모습, ARXIV 2023/05, [종이]
• 차별적으로 개인 대형 언어 모델을 사용하여 합성 쿼리 생성을 가진 개인 정보 보호 추천 시스템, ARXIV 2023/05, [논문]
• Recagent : 추천 시스템을위한 새로운 시뮬레이션 패러다임, ARXIV 2023/06, [종이]
• 대규모 사전에 걸린 언어 모델을 사용한 Zero-Shot 다음 항목 권장 사항, ARXIV 2023/04, [종이]
• Chatgpt가 공정한 추천을 할 수 있습니까? 큰 언어 모델을 사용한 추천을위한 공정성 평가 벤치 마크, Restys 2023
• 순차적 권장을 위해 큰 언어 모델 활용, Recsys 2023/09, [종이]
• LLMREC : 추천을위한 그래프 확대, WSDM 2024 Oral, [용지] [코드]
• ID 임베딩이 필요합니까? 효과적인 순차적 권장을위한 미백 미리 훈련 된 텍스트 임베딩, ARXIV 2024/02, [종이]

LLM으로 프롬프트

• 대형 언어 모델은 추천 시스템, ARXIV 2023/05, [종이]의 제로 샷 순위입니다.
• 언어 처리 (RLP)로서의 권장 사항 : 통합 사방, 개인화 된 프롬프트 및 예측 패러다임 (P5), ARXIV 2022/03, [논문]
• 추천 시스템으로서 언어 모델 : 평가 및 제한, Neurips Workshop ICBINB 2021/10, [논문]
• 뉴스 추천에 대한 신속한 학습, Sigir 2023/04, [종이]
• LLM-REC : 대형 언어 모델 프롬프트를 통한 개인화 된 추천, Arxiv, 2023/07 [논문]

chatgpt [링크]

• Chatgpt는 예비 연구, Arxiv 2023/04, [종이]
• Chatgpt가 검색에 능숙합니까? 대규모 언어 모델을 재 계산 에이전트로 조사, ARXIV 2023/04, [종이]
• Chat-rec : 대화식 및 설명 가능한 LLMS-augmented 추천 시스템, ARXIV 2023/04, [종이]
• 다음과 같은 지시 : 큰 언어 모델 권한을 부여하는 권장 접근법, ARXIV 2023/05, [종이]
• 대화 권장 시스템에서 대형 언어 모델 활용, ARXIV 2023/05, [종이]
• 추천 시스템에서 Chatgpt의 기능을 발견, Arxiv 2023/05, [논문] [코드]
• 인공 장군 추천자 (AGR)의 불꽃 : Chatgpt, Arxiv 2023/05, [종이]와의 초기 실험
• Chatgpt는 추천을 위해 박람회입니까? 큰 언어 모델 추천에서 공정성 평가, ARXIV 2023/05, [논문] [코드]
• 인공 장군 추천자 (AGR)의 불꽃 : Chatgpt, Arxiv 2023/05, [종이]와의 초기 실험
• PALR : 추천을위한 개인화 LLM, ARXIV 2023/05, [종이]
• 차별적으로 개인 대형 언어 모델을 사용하여 합성 쿼리 생성을 가진 개인 정보 보호 추천 시스템, ARXIV 2023/05, [논문]
• 대형 언어 모델 시대의 대화 추천에 대한 평가를 다시 생각하면 ARXIV 2023/05, [종이]
• CTRL : CTR 예측을 위해 표 및 언어 모델을 연결, ARXIV 2023/06, [용지].

멀티 모달 추천 시스템

• VBPR : 암시 적 피드백, AAAI2016, [종이]의 비주얼 베이지안 맞춤 순위
• 강력한 멀티미디어 추천 시스템을 향한 적대 교육, TKDE2019, [종이]
• 추천 시스템을위한 멀티 모달 지식 그래프, CIKM 2020, [종이]
• 순차적 권장을위한 온라인 증류 강화 된 멀티 모달 변압기, ACMMM 2023, [종이]
• 자체 감독 된 멀티 모달 순차적 권장, Arxiv2023/02, [종이]
• FMMREC : 공정성 인식 다중 모드 권장, ARXIV2023/10, [종이]
• 자체 감독 된 멀티 모달 순차적 권장 사항, ARXIV 2024/02, [종이]
• 복합 권장을위한 내용 및 구조의 미묘한 기능으로 ID 임베딩, ARXIV2023/10, [종이]
• 세션 기반 추천에서 대체 교육을 통한 ID 및 텍스트 퓨전 향상, ARXIV2023/2, [종이]
• BIVREC : 양방향 뷰 기반 멀티 모드 순차적 권장, ARXIV2023/2, [용지]
• 공동 비디오 및 댓글 추천에 대한 대형 언어 모델 향상 순차 권장 사항, ARXIV2024/2, [논문]
• 교육 ID-Agnostic Multi-Modal 순차적 추천자 훈련에 대한 경험적 연구, ARXIV2024/3, [논문]
• 깊은 CTR 예측을위한 개별 시맨틱 토큰 화, ARXIV2024/3, [종이]
• 멀티 모달 모델 및 순위 모델의 엔드 투 엔드 교육, ARXIV2023/3, [종이]

기초 및 양도 가능한 추천 모델

• TransRec : Mixture-of-Modality 피드백의 전송 가능한 추천 학습, ARXIV 2022/06, [논문]
• 추천 시스템에 대한 보편적 인 시퀀스 표현 학습, KDD2022,2022/06, [논문]
• 전송 가능한 순차적 추천자에 대한 벡터 정량 항목 표현 학습, www 2023, [논문] [코드]
• UP5 : 공정성 인식 추천을위한 편견없는 재단 모델, ARXIV 2023/05, [종이]
• 추천 시스템에 대한 어댑터 기반 전송 학습 탐색 : 경험적 연구 및 실질적인 통찰력, ARXIV 2023/05, [논문] [코드]
• OpenP5 : 추천을위한 벤치마킹 재단 모델, ARXIV 2023/06, [종이]
• 언어로서 다중 도메인 사전 훈련 추천을 철저히 모델링, Arxiv 2023/10, [종이]
• MISSREC : 권장 사항을위한 다중 모달 관심사 인식 시퀀스 표현 사전 훈련 및 전송, ARXIV 2023/10, [논문]
• 전송 가능한 추천을위한 협업 단어 기반 미리 훈련 된 항목 표현, ARXIV 2023/11, [논문]
• 범용 멀티 모달 멀티 도메인 사전 훈련 된 권장 사항, ARXIV 2023/11, [종이]
• 다중 양식은 전송 가능한 추천 시스템, ARXIV 2023, [종이]에 필요한 전부입니다.
• Transfr : 미리 훈련 된 언어 모델을 사용한 양도 가능한 연합 추천, ARXIV 2024/02, [논문]
• 오픈 월드 가정에 따른 교차 도메인 순차적 권장 사항을 재고, ARXIV 2024/02, [논문]
• 대형 언어 모델은 협업 필터링을 충족합니다 : 효율적인 만능 LLM 기반 추천 시스템, ARXIV 2024/04, [종이]
• 언어 모델은 공동 신호를 인코딩하여 권장 사항, ARXIV 2024/07, [종이]

보편적 인 일반 목적, One4all 사용자 표현 학습

• 사용자 모델링 및 추천을위한 순차적 동작에서 매개 변수 효율적인 전송, Sigir 2020, [논문], [코드]
• 전자 상거래의 추천 시스템에 대한 하나의 사용자 표현, ARXIV 2021, [논문]
• 대조적 인 사전 훈련을 통해 순차적 행동으로 전송 가능한 사용자 표현 학습, ICDM 2021, [논문]
• 크로스 도메인 권장 사항에 대한 사용자 별 적응 미세 조정, TKDE 2021, [논문]
• 추천 모델을위한 스케일링 법 : 일반 목적 사용자 표현, AAAI 2023, [논문]
• U-Bert : 개선 된 추천을위한 미리 훈련 사용자 표현, AAAI 2021, [논문]
• 모두 하나의 하나, 하나를위한 하나 : 크로스 도메인 추천을위한 사용자 임베드 학습 및 전송, WSDM 2022, [논문]
• 10 억 규모의 사용자 표현 학습을위한 현장 인식 변형 자동 인코더, ICDE2022, [논문]
• 전문가의 희소 혼합으로 대규모 보편적 인 사용자 표현 학습, ICML2022Workshop, [종이]
• 멀티 데이터 소스 LTV 사용자 표현 (MDLUR), KDD2023, [종이]
• 추천 시스템에서 언어 모델링의 중추적 인 역할 : 과제별 및 작업 공유 학습 학습을 풍부하게합니다. ARXIV2022/12, [종이]
• 사용자 모델링 및 사용자 프로파일 링 : 포괄적 인 설문 조사, 2024/02, [논문]
• 전송 학습을위한 일반화 된 사용자 표현, ARXIV 2024/03, [논문]
• 검색 및 추천을위한 언어 및 항목 브리징, ARXIV 2024/04, [종이]

평생 보편적 인 사용자 표현 학습

• 한 사람, 하나의 모델, 한 세계 : 잊지 않고 지속적인 사용자 표현 학습, Sigir 2021, [논문], [코드]
• TENREC : 추천 시스템을위한 대규모 다목적 벤치 마크 데이터 세트, Neurips 2022 [종이]
• Stan : 사용자 라이프 사이클 기반 eprractiong, Recsys 2023, [Paper] 학습을 통해 멀티 태스킹 권장을위한 스테이지 조용 네트워크
• 작업 관계 인식 지속적인 사용자 표현 학습, KDD2023, [논문]
• Rella : 추천의 평생 순차적 행동 이해를위한 검색 대형 언어 모델, Arxiv2023/08, [논문]

생성 추천 시스템 [링크]

• 다음 항목 권장 사항을위한 간단한 컨볼 루션 생성 네트워크, WSDM 2018/08, [종이] [코드]
• 향후 데이터 교육 지원 : 세션 기반 추천을위한 미래 상황 모델링, www 2020/04, [논문] [코드]
• 협업 확산 생성 모델을 통한 권장 사항, KSEM 2022/08, [종이]
• 협업 필터링을위한 흐릿한 공상 프로세스 모델, ARXIV 2022/09, [종이]
• 강화 학습을 통한 생성 슬레이트 권장 사항, ARXIV 2023/01, [종이]
• 생성 검색, ARXIV 2023/04, [종이]가있는 추천 시스템
• Diffupurece : 순차적 권장을위한 확산 모델, ARXIV 2023/04, [용지]
• 확산 추천 모델, ARXIV 2023/04, [종이]
• LLM 기반 생성 뉴스 추천에 대한 첫 번째 모습, ARXIV 2023/05, [종이]
• 생성 검색, ARXIV 2023/05, [종이]가있는 추천 시스템
• 조밀 한 검색으로서의 생성 검색, ARXIV 2023/06, [종이]
• RecFusion : 권장을위한 1D 데이터에 대한 이항 확산 프로세스, ARXIV 2023/06, [종이]
• GPTREC, SIGIR Workshop 2023, [종이]를 통한 생성 순차 권장 사항
• 팬 : 항목 목록 연속을위한 빠른 비 유포리 시퀀스 생성, www 2023, [종이]
• 생성 된 차세대 바스켓 권장 사항, Restys 2023
• 대형 언어 모델 증강 내러티브 중심 권장 사항, Recsys 2023, [종이]
• Lightlm : 가벼운 깊고 좁은 언어 모델 용서 권장, Arxiv 2023/10, [종이]

관련 리소스 :

• Xiangyang Li Github [링크]
• nancheng58i github [링크]
• Enoche Github [링크]
• wlik github [링크]
• https://github.com/chiangel/awesome-llm-for-recsys
• https://medium.com/@lifengyi_6964/a-large-scale-short-video-recommender-system-dataset-160fdfe81b79
• https://medium.com/@lifengyi_6964/rethinking-the-id-paradigm-in-recommender-systems-wise-of-modality-98f449dec016
• https://medium.com/@lifengyi_6964/one-model-for-all-niversal-recommender-system-82dab214a07d
• https://zhuanlan.zhihu.com/p/437671278
• https://zhuanlan.zhihu.com/p/675213913
• https://zhuanlan.zhihu.com/p/684805058
• https://zhuanlan.zhihu.com/p/665467596