Modelos de fundação para a lista de papel do sistema de recomendação
Bem -vindo a abrir um problema ou fazer uma solicitação de tração!
Palavra-chave: Recomendar sistema, pré-treinamento, modelo de idioma grande, sistema de recomendação multimodal, sistema de recomendação transferível, modelos de recomendação de fundação, representação universal de usuário, um modelo de ajuste-modelo, recursos de identificação, incorporação de id
Esses documentos tentam abordar as seguintes perguntas:
(1) Os sistemas de recomendação podem ter seus próprios modelos de fundação semelhantes aos usados em PNL e CV?
(2) A incorporação de ID é necessária para os modelos de recomendação, podemos substituí -lo ou abondon?
(3) Os sistemas de recomendação mudarão de um paradigma correspondente para um paradigma gerador?
(4) Como o LLM pode ser utilizado para aprimorar os sistemas de recomendação?
(5) O que o futuro reserva para sistemas de recomendação multimodal?
Lista de papel
Perspectiva de papel: ID vs. LLM & ID vs. multimodal
- Para onde ir a seguir para obter sistemas de recomendação? Id-vs. Modelos de recomendação baseados em modalidade revisitados, Sigir2023, 2022/09, [Paper] [Código]
- Explorando os limites superiores da filtragem colaborativa baseada em texto usando modelos de idiomas grandes: descobertas e insights, ARXIV 2023/05, [Paper]
- Explorando o aprendizado de transferência baseado em adaptadores para sistemas de recomendação: estudos empíricos e insights práticos, WSDM2024, [Paper] [código]
- O elefante na sala: repensando o uso do modelo de linguagem pré-treinado em recomendação sequencial, arxiv2024/04, [papel]
Conjuntos de dados para Rs transferíveis ou multimodais
- Ninerec: um conjunto de dados de referência para avaliar a recomendação transferível, TPAMI2024, [Paper] [Link] | Imagens, texto, nove conjuntos de dados a jusante
- TENREC: Um conjunto de dados de referência multiuso em larga escala para sistemas de recomendação, Neurips 2022 [papel]
- Pixelrec: um conjunto de dados de imagem para sistemas de recomendação de benchmarking com pixels crus, SDM 2023/09 [Paper] | [Link] | Imagens, texto, tags, 200 milhões de interações
- Microlens: um conjunto de dados de recomendação de micro-video orientado por conteúdo em escala [Paper] [Link] [DeepMind Talk] | Imagens, texto, vídeo, áudio, comentários, tags, etc.
- Mente: Um conjunto de dados em larga escala para recomendação de notícias, ACL2020, [Paper] | Texto
- Transferência eficiente em parâmetro de comportamentos seqüenciais para modelagem e recomendação do usuário, Sigir 2020 [link]
- Morec: [link] Netflix: [link] Amazon: [link]
- Explorando a previsão de CTR multi-cenário multi-cenário com um conjunto de dados em larga escala, Sigir 2024/07 [Paper] | [Link] | Imagens, texto, múltiplos domínios, verdadeiros dados negativos, 100 milhões de CTR
Enquete
- Uma pesquisa sobre grandes modelos de idiomas para recomendação, Arxiv 2023/05, [papel]
- Como os sistemas recomendados podem se beneficiar de grandes modelos de idiomas: uma pesquisa, Arxiv 2023/06, [papel]
- Sistemas de recomendação na era dos grandes modelos de linguagem, Arxiv, 2023/07, [papel]
- Uma pesquisa sobre avaliação de grandes modelos de idiomas, Arxiv, 2023/07, [papel]
- Aprendizagem auto-supervisionada para sistemas de recomendação: uma pesquisa, Arxiv, 2023/06, [papel]
- Pré-treino, rápido e recomendação: Uma pesquisa abrangente de adaptações de paradigma de modelagem de idiomas em sistemas de recomendação, 2022/09, [Paper]
- Modelagem de usuários na era de grandes modelos de idiomas: pesquisa atual e direções futuras, 2023/12, [papel]
- Modelagem de usuários e perfil de usuário: uma pesquisa abrangente, 2024/02, [papel]
- Modelos de fundação para sistemas de recomendação: uma pesquisa e novas perspectivas, 2024/02, [papel]
- Pré -denominação, adaptação e geração multimodais para recomendação: uma pesquisa, 2024/05, [papel]
- Todas as estradas levam a Roma: revelando a trajetória de sistemas de recomendação em toda a era LLM, 2024/07, [papel]
Modelos de idiomas grandes para recomendação （llm4rec）
SCALING LLM
- Habilidades emergentes de grandes modelos de idiomas, TMLR 2022/08, [papel]
- Explorando os limites superiores da filtragem colaborativa baseada em texto usando modelos de idiomas grandes: descobertas e insights, ARXIV 2023/05, [Paper]
- Os LLMs entendem as preferências do usuário? Avaliando o LLMS na previsão de classificação do usuário, ARXIV 2023/05, [Paper]
- Lei de Escala para Modelos de Recomendação: Para Representações de Usuário de Uso Geral, AAAI 2023, [Paper]
Não largo e profundo e longo LLM
- Stackrec: treinamento eficiente de modelos de recomendação sequencial muito profundos por empilhamento iterativo, Sigir 2021, [Paper]
- Uma estrutura de seleção de camada adaptativa do usuário para modelos de recomendação seqüencial muito profundos, AAAI 2021, [Paper]
- Uma estrutura genérica de compactação de rede para sistemas de recomendação seqüencial, Sigir 2020, [Paper]
- Lei de escala de grandes modelos de recomendação seqüencial, ARXIV 2023/11, [papel]
- As ações falam mais alto que as palavras: transdutores seqüenciais de trilhões de parâmetros para recomendações generativas, ARXIV 2024/03, [papel]
- Quebrando a barreira do comprimento: Previsão de CTR com LLM em LLM em longos comportamentos de usuário textuais, Sigir 2024, [Paper]
Tuning LLM
- CALREC: Alinhamento contrastante de LLMs generativos para recomendação seqüencial, Recsys 2024, [Paper]
- M6-REC: Modelos de idiomas pré-devastados generativos são sistemas de recomendação aberta, ARXIV 2022/05, [papel]
- Tallrec: Uma estrutura de ajuste eficaz e eficiente para alinhar um modelo de linguagem grande com recomendação, Arxiv 2023/04, [papel]
- GPT4Rec: Uma estrutura generativa para recomendação personalizada e interpretação dos interesses do usuário, 2023/04, [Paper]
- Um paradigma de aterramento bi-etapa para grandes modelos de idiomas em sistemas de recomendação, Arxiv, 2023/08, [papel]
- Llamarec: recomendação de dois estágios usando grandes modelos de idiomas para classificação, PGAI@CIKM 2023, [Paper] [Código]
- Melhorando as recomendações seqüenciais com o LLMS, ARXIV 2024/02, [papel]
Freezing LLM [link]
- CTR-Bert: Destilação de conhecimento econômica para modelos de professores de bilhões de parâmetros ， ARXIV 2022/04, [papel]
- Rumo a sistemas de recomendação de conversação unificada por meio de aprendizado imediato aprimorado pelo conhecimento, ARXIV 2022/06, [Paper]
- Recomendação generativa: para o paradigma de recomendação de próxima geração, Arxiv 2023/04, [Paper]
- Explorando os limites superiores da filtragem colaborativa baseada em texto usando modelos de idiomas grandes: descobertas e insights, ARXIV 2023/05, [Paper]
- Uma primeira olhada na recomendação de notícias generativas movidas a LLM, Arxiv 2023/05, [papel]
- Sistemas de recomendação de preservação de privacidade com geração de consulta sintética usando modelos de idiomas grandes diferencialmente privados, Arxiv 2023/05, [papel]
- RECAGENTE: Um novo paradigma de simulação para sistemas de recomendação, Arxiv 2023/06, [papel]
- Recomendação de itens seguintes de tiro zero usando grandes modelos de idiomas pré-tenhados, ARXIV 2023/04, [papel]
- O chatgpt pode fazer recomendações justas? Uma referência de avaliação de justiça para recomendação com um modelo de idioma grande, Recsys 2023
- Aproveitando grandes modelos de linguagem para recomendação seqüencial, Recsys 2023/09, [papel]
- LLMREC: Modelos de idiomas grandes com aumento de gráficos para recomendação, WSDM 2024 Oral, [Paper] [Código]
- As incorporações de ID são necessárias? Incorporação de texto pré-treinado para clareamento para recomendação seqüencial eficaz, ARXIV 2024/02, [Paper]
Prompt com LLM
- Modelos de idiomas grandes são rankers zero para sistemas de recomendação, Arxiv 2023/05, [papel]
- Recomendação como Processamento de Idiomas (RLP): um pré -atreto unificado, prompt personalizado e prever paradigma (p5), arxiv 2022/03, [papel]
- Modelos de idiomas como sistemas recomendados: avaliações e limitações, neurips workshop ICBINB 2021/10, [papel]
- Recomendação rápida de aprendizado para notícias, Sigir 2023/04, [Paper]
- LLM-REC: Recomendação personalizada por meio de modelos de linguagem grandes, Arxiv, 2023/07 [Paper]
Chatgpt [link]
- Chatgpt é um bom recomendador um estudo preliminar, arxiv 2023/04, [papel]
- O chatgpt é bom em pesquisa? Investigando grandes modelos de linguagem como agente de renomeamento, Arxiv 2023/04, [Paper]
- Chat-Rec: Rumo ao sistema de recomendação de LLMS-agentado interativo e explicável, Arxiv 2023/04, [papel]
- Recomendação como instrução A seguir: Um grande modelo de linguagem capacitou a abordagem de recomendação, Arxiv 2023/05, [papel]
- Aproveitando grandes modelos de linguagem em sistemas de recomendação de conversação, ARXIV 2023/05, [papel]
- Descobrindo os recursos do ChatGPT em sistemas de recomendação, Arxiv 2023/05, [Paper] [Código]
- Sparks de recomendador geral artificial (AGR): Experiências iniciais com ChatGPT, ARXIV 2023/05, [Paper]
- O ChatGpt Fair é para recomendação? Avaliando a justiça em recomendação de modelo de linguagem grande, ARXIV 2023/05, [Paper] [Código]
- Sparks de recomendador geral artificial (AGR): Experiências iniciais com ChatGPT, ARXIV 2023/05, [Paper]
- PALR: Personalização consciente LLMS para recomendação, ARXIV 2023/05, [Paper]
- Sistemas de recomendação de preservação de privacidade com geração de consulta sintética usando modelos de idiomas grandes diferencialmente privados, Arxiv 2023/05, [papel]
- Repensando a avaliação da recomendação de conversação na era de grandes modelos de idiomas, Arxiv 2023/05, [Paper]
- CTRL: Conecte o Modelo de Tabular e Linguagem à Previsão CTR, ARXIV 2023/06, [Paper].
Sistema de recomendação multimodal
- VBPR: Visual Bayesian Personalizado Ranking De Feedback implícito, AAAI2016, [Paper]
- Treinamento adversário em direção ao sistema de recomendação robusto de multimídia, TKDE2019, [Paper]
- Gráficos de conhecimento multimodal para sistemas de recomendação, CIKM 2020, [papel]
- Transformador multimodal aprimorado por destilação on-line para recomendação sequencial, ACMMM 2023, [Paper]
- Recomendação seqüencial multimodal auto-supervisionada, Arxiv2023/02, [papel]
- FMMREC: Recomendação multimodal com reconhecimento de justiça, ARXIV2023/10, [papel]
- Recomendação seqüencial multimodal auto-supervisionada, ARXIV 2024/02, [papel]
- Id Incorporação como características sutis de conteúdo e estrutura para recomendação multimodal, arxiv2023/10, [papel]
- Aprimorando a ID e a fusão de texto por meio de treinamento alternativo em recomendações baseadas em sessões, Arxiv2023/2, [Paper]
- BIVREC: Recomendação seqüencial multimodal baseada em visualização bidirecional ， ARXIV2023/2, [papel]
- Um grande modelo de linguagem aprimorou o recomendador seqüencial para recomendação de vídeo e comentário conjunto, Arxiv2024/2, [papel]
- Um estudo empírico do treinamento de recomendadores sequenciais multimodais de ID da ID, Arxiv2024/3, [Paper]
- Tokenização semântica discreta para previsão profunda da CTR, ARXIV2024/3, [papel]
- Treinamento de ponta a ponta do modelo multimodal e modelo de classificação, Arxiv2023/3, [Paper]
Modelos de recomendação de fundação e transferíveis
- TransRec: Aprendendo recomendação transferível do feedback da mistura de modalidade, Arxiv 2022/06, [papel]
- Rumo à representação de sequência universal Aprendizagem para sistemas de recomendação, KDD2022.2022/06, [Paper]
- Aprendizando a representação de itens montados por vetores para recomendadores seqüenciais transferíveis, www 2023, [Paper] [Código]
- UP5: Modelo de Fundação Imparcial para Recomendação com Reunião de Justiça, ARXIV 2023/05, [Paper]
- Explorando o aprendizado de transferência baseado em adaptadores para sistemas de recomendação: estudos empíricos e insights práticos, ARXIV 2023/05, [Paper] [Código]
- OpenP5: Modelos de Fundação de Benchmarking para Recomendação, ARXIV 2023/06, [Paper]
- Modelando completamente a recomendação pré-treinada de vários domínios como linguagem, Arxiv 2023/10, [papel]
- Missrec: Representação de sequência de interesses multimodal pré-treinamento e transferência para recomendação, Arxiv 2023/10, [Paper]
- Representação de itens pré-treinados com base em palavras colaborativas para recomendação transferível, ARXIV 2023/11, [Paper]
- Recomendação pré-treinada universal multimodal multiodal, Arxiv 2023/11, [Paper]
- Multi-modalidade é tudo o que você precisa para sistemas de recomendação transferível, Arxiv 2023, [papel]
- Transfr: Recomendação federada transferível com modelos de idiomas pré-treinados, ARXIV 2024/02, [papel]
- REVENDO RECOMENDO DE RECOMENSÃO SEQUENCIAL DO DOMAIR DE SOBRAS SUPUNSÕES DE MURDO ABERTO, ARXIV 2024/02, [Paper]
- Modelos de idiomas grandes atendem à filtragem colaborativa: um sistema de recomendação baseado em LLM eficiente, Arxiv 2024/04, [papel]
- Modelos de idiomas codificam sinais colaborativos em recomendação, Arxiv 2024/07, [papel]
UNIVERSAL GERAL FORNO, ONE4ALL User Representation Learning
- Transferência eficiente em parâmetro de comportamentos seqüenciais para modelagem e recomendação do usuário, Sigir 2020, [Paper], [Code]
- One4All User Representação para sistemas de recomendação em comércio eletrônico, ARXIV 2021, [Paper]
- Aprendendo representações de usuário transferíveis com comportamentos seqüenciais por meio de pré-treinamento contrastivo, ICDM 2021, [Paper]
- Ajuste adaptável específico do usuário para recomendações de domínio cruzado, TKDE 2021, [Paper]
- Lei de Escala para Modelos de Recomendação: Para Representações de Usuário de Uso Geral, AAAI 2023, [Paper]
- U-Bert: Representações de usuário pré-treinamento para recomendação aprimorada, AAAI 2021, [Paper]
- Um para todos, tudo para um: Aprendendo e transferindo incorporações de usuários para recomendação de domínio cruzado, WSDM 2022, [Paper]
- AutoEncoders variacionais com reconhecimento de campo para o aprendizado de representação de usuários em escala de bilhões, ICDE2022, [Paper]
- Aprendendo representação universal de usuário em larga escala com mistura esparsa de especialistas, ICML2022Workshop, [Paper]
- Multi DataSource LTV User Representation (MDLUR), KDD2023, [Paper]
- Papel fundamental da modelagem de idiomas em sistemas de recomendação: enriquecendo a aprendizagem de representação específica de tarefas e de tarefas-tarefas. Arxiv2022/12, [papel]
- Modelagem de usuários e perfil de usuário: uma pesquisa abrangente, 2024/02, [papel]
- Representações de usuários generalizados para Learning de Transferência, ARXIV 2024/03, [Paper]
- Bridging Language e itens para recuperação e recomendação ， ARXIV 2024/04, [papel]
Aprendizagem de Usuário Universal de Longo
- Uma pessoa, um modelo, um mundo: aprendendo representação contínua do usuário sem esquecer, Sigir 2021, [Paper], [código]
- TENREC: Um conjunto de dados de referência multiuso em larga escala para sistemas de recomendação, Neurips 2022 [papel]
- Stan: Rede Adaptativa de estágio para recomendação de várias tarefas, aprendendo representação baseada no ciclo de vida do usuário, Recsys 2023, [Paper]
- Aprendizagem contínua de representação contínua do usuário com reconhecimento de tarefas, KDD2023, [Paper]
- Rella: Modelos de linguagem grande com recuperação para recuperar a compreensão de comportamento seqüencial ao longo da vida na recomendação, arxiv2023/08, [papel]
Sistemas de recomendação generativa [link]
- Uma simples rede generativa convolucional para a próxima recomendação do item, WSDM 2018/08, [Paper] [Código]
- Os dados futuros ajudam o treinamento: modelando contextos futuros para recomendação baseada em sessões, www 2020/04, [Paper] [código]
- Recomendação via modelo generativo de difusão colaborativa, KSEM 2022/08, [papel]
- Modelos de processo de mata-borrada para filtragem colaborativa, ARXIV 2022/09, [papel]
- Recomendação generativa de ardósia com aprendizado de reforço, ARXIV 2023/01, [papel]
- Sistemas de recomendação com recuperação generativa, ARXIV 2023/04, [papel]
- Difurec: Um modelo de difusão para recomendação seqüencial, Arxiv 2023/04, [papel]
- Modelo de Recomendamento de Difusão, ARXIV 2023/04, [papel]
- Uma primeira olhada na recomendação de notícias generativas movidas a LLM, Arxiv 2023/05, [papel]
- Sistemas de recomendação com recuperação generativa, ARXIV 2023/05, [papel]
- Recuperação generativa como recuperação densa, ARXIV 2023/06, [papel]
- Recfusão: um processo de difusão binomial para dados 1D para recomendação, Arxiv 2023/06, [papel]
- Recomendação seqüencial generativa com GPTrec, Sigir Workshop 2023, [Paper]
- Fãs: geração de sequência não autorregressiva rápida para continuação da lista de itens, www 2023, [papel]
- Recomendação generativa da próxima cesta, Recsys 2023
- Modelo de idioma grande recomendação narrativa aumentada, Recsys 2023, [papel]
- Lightlm: um modelo de linguagem profunda e estreita e leve recomendação esquecida, Arxiv 2023/10, [papel]
Recursos relacionados:
- Xiangyang li github [link]
- nancheng58i github [link]
- enoche github [link]
- Wlik github [link]
- https://github.com/chiangel/awesome-llm-for-recsys
- https://medium.com/@lifengyi_6964/a-large-scale-short-video-recoMmender-system-dataset-160fdfe81b79
- https://medium.com/@lifengyi_6964/rethinking-the-id-paradigm-in-recommender-systems-the-rise-of-modality-98f449dec016
- https://medium.com/@lifengyi_6964/one-model-for-all-universal-recomomender-system-82dab214a07d
- https://zhuanlan.zhihu.com/p/437671278
- https://zhuanlan.zhihu.com/p/675213913
- https://zhuanlan.zhihu.com/p/684805058
- https://zhuanlan.zhihu.com/p/665467596
