Recommendation Systems without Explicit ID Features A Literature Review

Modelos de base para la lista de documentos del sistema de recomendación

¡Bienvenido para abrir un problema o hacer una solicitud de extracción!

Palabra clave: Recomendar el sistema, el pretrenamiento, el modelo de lenguaje grande, el sistema de recomendación multimodal, el sistema de recomendación de recomendación transferible, los modelos de recomendación de la base, la representación universal del usuario, las características de identificación de un modelo, las características de identificación, los incrustaciones de ID

Estos documentos intentan abordar las siguientes preguntas:

(1) ¿Pueden los sistemas de recomendación tener sus propios modelos de base similares a los utilizados en PNL y CV?

(2) ¿Es necesaria la incrustación de ID para los modelos de recomendación, ¿podemos reemplazarlo o abondon?

(3) ¿Los sistemas de recomendación cambiarán de un paradigma coincidente a un paradigma generador?

(4) ¿Cómo se puede utilizar LLM para mejorar los sistemas de recomendación?

(5) ¿Qué le depara el futuro para los sistemas de recomendación multimodal?

Lista de papeles

Papel Paper: ID vs. LLM e ID vs. Multimodal

• ¿A dónde ir a continuación para los sistemas de recomendación? ID-VS. Modelos de recomendación basados ​​en modalidad revisitados, Sigir2023, 2022/09, [documento] [código]
• Explorando los límites superiores del filtrado colaborativo basado en texto utilizando modelos de lenguaje grandes: descubrimientos e ideas, ARXIV 2023/05, [documento]
• Explorando el aprendizaje de transferencia basado en adaptadores para sistemas de recomendación: estudios empíricos e ideas prácticas, WSDM2024, [documento] [Código]
• El elefante en la sala: repensar el uso del modelo de lenguaje previamente capacitado en recomendación secuencial, ARXIV2024/04, [documento]

Conjuntos de datos para RS transferible o multimodal

• Ninerec: un conjunto de conjuntos de datos de referencia para evaluar la recomendación transferible, TPAMI2024, [documento] [enlace] | Imágenes, texto, nueve conjuntos de datos posteriores
• TenREC: un conjunto de datos de referencia multipropósito a gran escala para sistemas de recomendación, Neurips 2022 [papel]
• PixelRec: un conjunto de datos de imágenes para sistemas de recomendación de evaluación comparativa con píxeles sin procesar, SDM 2023/09 [papel] | [enlace] | Imágenes, texto, etiquetas, 200 millones de interacciones
• Microlenses: un conjunto de datos de recomendación de microespideo basado en contenido a escala [papel] [enlace] [DeepMind Talk] | Imágenes, texto, video, audio, comentarios, etiquetas, etc.
• Mente: un conjunto de datos a gran escala para recomendación de noticias, ACL2020, [documento] | Texto
• Transferencia de parámetros-eficiente de comportamientos secuenciales para modelado y recomendación de usuarios, Sigir 2020 [enlace]
• Morec: [enlace] Netflix: [enlace] Amazon: [enlace]
• Explorando la predicción de CTR multi-escenario multimodal con un conjunto de datos a gran escala, SIGIR 2024/07 [Paper] | [enlace] | Imágenes, texto, múltiples dominios, verdadero negativo, 100 millones de datos CTR

Encuesta

• Una encuesta sobre modelos de idiomas grandes para recomendación, ARXIV 2023/05, [documento]
• ¿Cómo pueden los sistemas de recomendación beneficiarse de modelos de idiomas grandes: una encuesta, ARXIV 2023/06, [documento]
• Sistemas de recomendación en la era de modelos de idiomas grandes, ARXIV, 2023/07, [documento]
• Una encuesta sobre evaluación de modelos de idiomas grandes, ARXIV, 2023/07, [documento]
• Aprendizaje auto-supervisado para sistemas de recomendación: una encuesta, ARXIV, 2023/06, [documento]
• Precinto, aviso y recomendación: una encuesta integral de adaptaciones de paradigma de modelado de idiomas en sistemas de recomendación, 2022/09, [documento]
• Modelado de usuarios en la era de los modelos de idiomas grandes: investigación actual y direcciones futuras, 2023/12, [documento]
• Modelado de usuarios y perfiles de usuarios: una encuesta completa, 2024/02, [documento]
• Modelos de base para sistemas de recomendación: una encuesta y nuevas perspectivas, 2024/02, [documento]
• Pretratenamiento multimodal, adaptación y generación para recomendación: una encuesta, 2024/05, [documento]
• Todos los caminos conducen a Roma: revelando la trayectoria de los sistemas de recomendación a través de la era de LLM, 2024/07, [documento]

Modelos de lenguaje grande para la recomendación （LLM4REC）

Escala llm

• Habilidades emergentes de modelos de idiomas grandes, TMLR 2022/08, [documento]
• Explorando los límites superiores del filtrado colaborativo basado en texto utilizando modelos de lenguaje grandes: descubrimientos e ideas, ARXIV 2023/05, [documento]
• ¿LLMS entienden las preferencias de los usuarios? Evaluación de LLM en la predicción de calificación del usuario, ARXIV 2023/05, [documento]
• Ley de escala para modelos de recomendación: hacia representaciones de usuarios de uso general, AAAI 2023, [documento]

Presal Wide & Deep & Long LLM

• StackRec: Entrenamiento eficiente de modelos de recomendación secuencial muy profundo por apilamiento iterativo, Sigir 2021, [documento]
• Un marco de selección de capa adaptativa para el usuario para modelos de recomendación secuenciales muy profundos, AAAI 2021, [papel]
• Un marco de compresión de red genérico para sistemas de recomendación secuencial, Sigir 2020, [papel]
• Ley de escala de grandes modelos de recomendación secuencial, ARXIV 2023/11, [documento]
• Las acciones hablan más fuerte que las palabras: transductores secuenciales de billones de parámetros para recomendaciones generativas, ARXIV 2024/03, [documento]
• Romper la barrera de longitud: predicción CTR mejorada en LLM en comportamientos de usuario textuales largos, Sigir 2024, [documento]

Tuning LLM

• Calrec: Alineación contrastante de LLM generativos para recomendación secuencial, RECSYS 2024, [documento]
• M6-REC: Los modelos de lenguaje pretrés generativos son sistemas de recomendación abiertos, ARXIV 2022/05, [documento]
• TallRec: un marco de ajuste efectivo y eficiente para alinear el modelo de lenguaje grande con recomendación, ARXIV 2023/04, [papel]
• GPT4REC: Un marco generativo para recomendación personalizada e interpretación de intereses de los usuarios, 2023/04, [documento]
• Un paradigma de conexión a tierra de bi-pasos para modelos de idiomas grandes en sistemas de recomendación, ARXIV, 2023/08, [documento]
• Llamarec: Recomendación de dos etapas utilizando modelos de idiomas grandes para la clasificación, pgai@cikm 2023, [documento] [código]
• Mejora de recomendaciones secuenciales con LLMS, ARXIV 2024/02, [Paper]

Congelamiento LLM [enlace]

• CTR-Bert: destilación de conocimiento rentable para modelos de maestros de miles de millones de parámetros, ARXIV 2022/04, [documento]
• Hacia un sistema de recomendación de conversación unificado a través del aprendizaje rápido mejorado por el conocimiento, ARXIV 2022/06, [documento]
• Recomendación generativa: Hacia el paradigma de recomendación de próxima generación, ARXIV 2023/04, [documento]
• Explorando los límites superiores del filtrado colaborativo basado en texto utilizando modelos de lenguaje grandes: descubrimientos e ideas, ARXIV 2023/05, [documento]
• Un primer vistazo a la recomendación de noticias generativas con alimentación de LLM, ARXIV 2023/05, [papel]
• Sistemas de recomendación de preservación de la privacidad con generación de consultas sintéticas utilizando modelos de idiomas grandes diferencialmente privados, ARXIV 2023/05, [documento]
• Recagente: un nuevo paradigma de simulación para sistemas de recomendación, ARXIV 2023/06, [documento]
• Recomendación de ítems siguiente de tiro cero utilizando grandes modelos de lenguaje previos a la aparición, ARXIV 2023/04, [documento]
• ¿Puede ChatGPT hacer una recomendación justa? Un punto de referencia de evaluación de equidad para la recomendación con un modelo de lenguaje grande, Recsys 2023
• Aprovechando modelos de idiomas grandes para recomendación secuencial, RECSYS 2023/09, [papel]
• LLMREC: Modelos de lenguaje grande con aumento de gráficos para recomendación, WSDM 2024 Oral, [documento] [Código]
• ¿Son necesarios los incrustaciones de identificación? Blanqueamiento de integración de texto previamente capacitado para una recomendación secuencial efectiva, ARXIV 2024/02, [documento]

Aviso con LLM

• Los modelos de idiomas grandes son rango de disparo cero para sistemas de recomendación, ARXIV 2023/05, [documento]
• Recomendación como procesamiento del lenguaje (RLP): un pretrén unificado, aviso personalizado y predicen paradigma (P5), ARXIV 2022/03, [documento]
• Modelos de idiomas como sistemas de recomendación: evaluaciones y limitaciones, taller de neuripas ICBINB 2021/10, [documento]
• Aprendizaje rápido para la recomendación de noticias, Sigir 2023/04, [documento]
• LLM-REC: Recomendación personalizada a través de modelos de idiomas grandes, ARXIV, 2023/07 [documento]

Chatgpt [enlace]

• Es chatgpt un buen recomendador un estudio preliminar, arxiv 2023/04, [documento]
• ¿Chatgpt es bueno en la búsqueda? Investigación de modelos de idiomas grandes como agente de reanicación, ARXIV 2023/04, [documento]
• CHAT-REC: Hacia el sistema de recomendación interactivo y explicable de LLMS, ARXIV 2023/04, [documento]
• Recomendación como instrucción Siguiendo: Un enfoque de recomendación de gran modelo de lenguaje, ARXIV 2023/05, [documento]
• Aprovechando modelos de idiomas grandes en sistemas de recomendación de conversación, ARXIV 2023/05, [documento]
• Descubriendo las capacidades de ChatGPT en los sistemas de recomendación, ARXIV 2023/05, [documento] [Código]
• Chispas de recomendador general artificial (AGR): Experimentos tempranos con ChatGPT, ARXIV 2023/05, [Documento]
• ¿Chatgpt es justo para la recomendación? Evaluación de la equidad en la recomendación del modelo de lenguaje grande, ARXIV 2023/05, [documento] [Código]
• Chispas de recomendador general artificial (AGR): Experimentos tempranos con ChatGPT, ARXIV 2023/05, [Documento]
• PALR: Personalización consciente de LLM para recomendación, ARXIV 2023/05, [documento]
• Sistemas de recomendación de preservación de la privacidad con generación de consultas sintéticas utilizando modelos de idiomas grandes diferencialmente privados, ARXIV 2023/05, [documento]
• Repensar la evaluación para la recomendación de conversación en la era de los modelos de idiomas grandes, ARXIV 2023/05, [documento]
• CTRL: Conecte el modelo tabular y de idioma para la predicción de CTR, ARXIV 2023/06, [documento].

Sistema de recomendación multimodal

• VBPR: Visual Bayesian Ranking personalizado a partir de comentarios implícitos, AAAI2016, [documento]
• Entrenamiento adversario hacia un robusto sistema de recomendación multimedia, TKDE2019, [documento]
• Gráficos de conocimiento multimodal para sistemas de recomendación, CIKM 2020, [documento]
• Transformador multimodal con destilación en línea para recomendación secuencial, ACMMM 2023, [documento]
• Recomendación secuencial multimodal auto-supervisada, ARXIV2023/02, [documento]
• FMMREC: Recomendación multimodal consciente de la justicia, ARXIV2023/10, [documento]
• Recomendación secuencial multimodal auto-supervisada, ARXIV 2024/02, [documento]
• ID INCRIVA COMO CARACTERÍSTICAS sutiles de contenido y estructura para recomendación multimodal, ARXIV2023/10, [documento]
• Mejora de ID y fusión de texto a través de capacitación alternativa en recomendación basada en sesiones, ARXIV2023/2, [documento]
• BIVREC: Recomendación secuencial multimodal basada en una vista bidireccional, ARXIV2023/2, [documento]
• Una recomendación secuencial mejorada de modelo de lenguaje grande para la recomendación conjunta de video y comentarios, ARXIV2024/2, [documento]
• Un estudio empírico de los recomendadores secuenciales multimodales de entrenamiento de ID-Agnóstico, ARXIV2024/3, [documento]
• Tokenización semántica discreta para una predicción CTR profunda, ARXIV2024/3, [documento]
• Entrenamiento de extremo a extremo del modelo multimodal y modelo de clasificación, ARXIV2023/3, [documento]

Fundación y modelos de recomendación transferibles

• TransREC: aprendizaje de recomendación transferible a partir de retroalimentación de la mezcla de modalidad, ARXIV 2022/06, [documento]
• Hacia el aprendizaje de representación de secuencia universal para sistemas de recomendación, KDD2022,2022/06, [documento]
• Representación de elementos de aprendizaje con vectores para recomendadores secuenciales transferibles, www 2023, [documento] [código]
• UP5: Modelo de base imparcial para la recomendación de la equidad, ARXIV 2023/05, [documento]
• Explorando el aprendizaje de transferencia basado en adaptadores para sistemas de recomendación: estudios empíricos e ideas prácticas, ARXIV 2023/05, [documento] [Código]
• OpenP5: Benchmarking Foundation Models for Recomferition, ARXIV 2023/06, [Paper]
• Modelando a fondo la recomendación previa al dominio de dominio como lenguaje, ARXIV 2023/10, [documento]
• MissRec: Pre-entrenamiento y transferencia de la representación de secuencia de interés multimodal para recomendación, ARXIV 2023/10, [documento]
• Representación de elementos pre-entrenado basado en palabras colaborativo para recomendación transferible, ARXIV 2023/11, [documento]
• Recomendación previa al entrenamiento multimodal universal multimodal, ARXIV 2023/11, [documento]
• La multimodalidad es todo lo que necesita para sistemas de recomendación transferibles, ARXIV 2023, [documento]
• TransFR: Recomendación federada transferible con modelos de lenguaje previamente capacitados, ARXIV 2024/02, [documento]
• Repensar la recomendación secuencial de dominio cruzado bajo supuestos del mundo abierto, ARXIV 2024/02, [documento]
• Los modelos de idiomas grandes cumplen con el filtrado colaborativo: un sistema de recomendación eficiente basado en LLM, ARXIV 2024/04, [documento]
• Los modelos de lenguaje codifican señales de colaboración en recomendación, ARXIV 2024/07, [documento]

Aprendizaje universal de uso general de usuarios de One4all

• Transferencia de parámetros-eficiente de comportamientos secuenciales para modelado y recomendación de usuarios, Sigir 2020, [documento], [código]
• Representación del usuario de One4All para sistemas de recomendación en comercio electrónico, ARXIV 2021, [documento]
• Aprendizaje de representaciones de usuario transferibles con comportamientos secuenciales a través de la capacitación contrastante, ICDM 2021, [documento]
• Ajuste adaptativo específico del usuario para recomendaciones de dominio cruzado, TKDE 2021, [documento]
• Ley de escala para modelos de recomendación: hacia representaciones de usuarios de uso general, AAAI 2023, [documento]
• U-Bert: Representaciones de usuario previas al entrenamiento para una recomendación mejorada, AAAI 2021, [documento]
• Uno para todos, todo para uno: aprendizaje y transferencia de incrustaciones de usuarios para recomendación de dominio cruzado, WSDM 2022, [documento]
• Autoencoders variacionales de campo para el aprendizaje de representación de usuarios a escala de miles de millones, ICDE2022, [documento]
• Aprendizaje de la representación de usuario universal a gran escala con una mezcla dispersa de expertos, ICML2022workshop, [documento]
• Multi DataSource LTV Representación del usuario (MDLUR), KDD2023, [documento]
• Phole fundal del modelado de idiomas en los sistemas de recomendación: enriquecer el aprendizaje de representación de tareas específicas y de tarea. arxiv2022/12, [papel]
• Modelado de usuarios y perfiles de usuarios: una encuesta completa, 2024/02, [documento]
• Representaciones de usuario generalizadas para el aprendizaje de transferencia, ARXIV 2024/03, [documento]
• Lenguaje y artículos de puente para la recuperación y recomendación, ARXIV 2024/04, [Documento]

Aprendizaje de representación de usuario universal de por vida

• Una persona, un modelo, un mundo: aprendizaje de la representación continua del usuario sin olvidar, Sigir 2021, [documento], [código]
• TenREC: un conjunto de datos de referencia multipropósito a gran escala para sistemas de recomendación, Neurips 2022 [papel]
• STAN: red adaptativa a la etapa para la recomendación de varias tareas mediante el aprendizaje de la representación del ciclo de vida del usuario, RECSYS 2023, [documento]
• Relación de tareas consciente de la representación continua de la representación del usuario, KDD2023, [documento]
• Rella: modelos de lenguaje grande mejorado por recuperación para la comprensión de comportamiento secuencial de toda la vida en la recomendación, ARXIV2023/08, [documento]

Sistemas generativos de recomendación [enlace]

• Una red generativa convolucional simple para la recomendación del siguiente elemento, WSDM 2018/08, [documento] [Código]
• Los datos futuros ayudan a la capacitación: modelado de contextos futuros para recomendación basada en sesiones, www 2020/04, [documento] [código]
• Recomendación a través del modelo generativo de difusión colaborativa, KSEM 2022/08, [documento]
• Modelos de proceso de fatiga confusión para filtrado colaborativo, ARXIV 2022/09, [papel]
• Recomendación de pizarra generativa con aprendizaje de refuerzo, ARXIV 2023/01, [documento]
• Sistemas de recomendación con recuperación generativa, ARXIV 2023/04, [documento]
• Diffurec: un modelo de difusión para recomendación secuencial, ARXIV 2023/04, [Paper]
• Modelo de recomendación de difusión, ARXIV 2023/04, [papel]
• Un primer vistazo a la recomendación de noticias generativas con alimentación de LLM, ARXIV 2023/05, [papel]
• Sistemas de recomendación con recuperación generativa, ARXIV 2023/05, [documento]
• Recuperación generativa como recuperación densa, ARXIV 2023/06, [documento]
• Recfusión: un proceso de difusión binomial para datos 1D para recomendación, ARXIV 2023/06, [documento]
• Recomendación secuencial generativa con GPTREC, Sigir Workshop 2023, [documento]
• Fans: Generación de secuencia no autorregresiva rápida para la continuación de la lista de elementos, www 2023, [documento]
• Recomendación generativa de la próxima cesta, Recsys 2023
• Recomendaciones narrativas aumentadas del modelo de lenguaje grande, Recsys 2023, [documento]
• LightLM: una recomendación de perdonador de modelo de lenguaje profundo y estrecho liviano, ARXIV 2023/10, [papel]

Recursos relacionados:

• Xiangyang Li Github [enlace]
• Nancheng58i Github [enlace]
• enoche github [enlace]
• Wlik Github [enlace]
• https://github.com/chiangel/awesome-llm-for-regsys
• https://medium.com/@lifengyi_6964/a-large-scale-short-video-regommender-system-dataset-160fdfe81b79
• https://medium.com/@lifengyi_6964/rethinking-the-id-paradigm-in-recommender-systems-the-rise-of-modity-98f449Dec016
• https://medium.com/@lifengyi_6964/one-model-for-all-universal-cronmender-system-82dab214a07d
• https://zhuanlan.zhihu.com/p/437671278
• https://zhuanlan.zhihu.com/p/675213913
• https://zhuanlan.zhihu.com/p/684805058
• https://zhuanlan.zhihu.com/p/665467596