Recommendation Systems without Explicit ID Features A Literature Review

Основные модели для рекомендаций системной бумаги

Добро пожаловать, чтобы открыть проблему или сделать запрос на привлечение!

Ключевое слово: рекомендовать систему, предварительную подготовку, модель большого языка, мультимодальная система рекомендательной системы, трансферная система рекомендации, модели рекомендателей фундамента, универсальное представление пользователей, одномоделье, функции идентификатора, идентификационные встроенные

Эти документы пытаются решить следующие вопросы:

(1) Могут ли у систем рекомендаций есть свои собственные модели фундамента, аналогичные тем, которые используются в NLP и CV?

(2) Необходим ли встроение ID для моделей рекомендаций, можем ли мы заменить или поблизости его?

(3) Перейти бы от рекомендательных систем от соответствующей парадигмы к генерирующей парадигме?

(4) Как можно использовать LLM для улучшения рекомендательных систем?

(5) Что имеет будущее для мультимодальных систем рекомендаций?

Бумажный список

Перспективная статья: ID против LLM & ID против мультимодального

• Куда пойти дальше для систем рекомендаций? ID-VS. На основе модальности рекомендованных моделей Recusting, Sigir2023, 2022/09, [Paper] [Code]
• Изучение верхних пределов текстовой совместной фильтрации с использованием больших языковых моделей: открытия и понимание, Arxiv 2023/05, [Paper]
• Изучение адаптерного переноса обучения для систем рекомендаций: эмпирические исследования и практические идеи, WSDM2024, [Paper] [CODE]
• Слон в комнате: переосмысление использования предварительно обученной языковой модели в последовательной рекомендации, arxiv2024/04, [Paper]

Наборы данных для передачи или мультимодального RS

• Ninerec: набор наборов данных для оценки передаваемой рекомендации, TPAMI2024, [Paper] [Link] | Изображения, текст, девять наборов данных вниз по течению
• Tenrec: крупномасштабный многоцелевой набор данных для рекомендательных систем, Neurips 2022 [Paper]
• PixelRec: набор данных изображений для контрольных систем рекомендации с сырыми пикселями, SDM 2023/09 [Paper] | [ссылка] | Изображения, текст, теги, 200 миллионов взаимодействий
• MicroLens: набор данных по рекомендациям микро-видео, управляемым контентом в масштабе [Paper] [Link] [DeepMind Talk] | Изображения, текст, видео, аудио, комментарии, теги и т. Д.
• Ум: крупномасштабный набор данных для рекомендации новостей, ACL2020, [Paper] | Текст
• Параметр-эффективная передача из последовательного поведения для моделирования и рекомендации пользователя, Sigir 2020 [Link]
• Morec: [ссылка] Netflix: [ссылка] Amazon: [ссылка]
• Изучение многомодального прогнозирования CTR с несколькими сценарио с крупномасштабным набором данных, Sigir 2024/07 [Paper] | [Link] | Изображения, текст, многодомен, истинный отрицательный, 100 миллионов данных CTR

Опрос

• Опрос о крупных языковых моделях для рекомендации, Arxiv 2023/05, [Paper]
• Как рекомендованные системы могут извлечь выгоду из крупных языковых моделей: опрос, Arxiv 2023/06, [Paper]
• Рекомендованные системы в эпоху крупных языковых моделей, Arxiv, 2023/07, [Paper]
• Опрос о оценке моделей крупных языков, Arxiv, 2023/07, [Paper]
• Самоподобное обучение для рекомендательных систем: опрос, Arxiv, 2023/06, [Paper]
• Предварительное обучение, быстрое и рекомендация: комплексный обзор адаптации парадигмы языкового моделирования в Serecument Systems, 2022/09, [Paper]
• Пользовательский моделирование в эпоху крупных языковых моделей: текущие исследования и будущие направления, 2023/12, [Paper]
• Пользовательский моделирование и профилирование пользователей: комплексный опрос, 2024/02, [Paper]
• Фонд модели для рекомендательных систем: обзор и новые перспективы, 2024/02, [Paper]
• Мультимодальная предварительная подготовка, адаптация и генерация для рекомендаций: опрос, 2024/05, [Paper]
• Все дороги ведут к Риму: раскрыть траекторию рекомендательных систем в эпоху LLM, 2024/07, [Paper]

Большие языковые модели для рекомендации (LLM4REC)

Масштабирование LLM

• Эффективные способности крупных языковых моделей, TMLR 2022/08, [Paper]
• Изучение верхних пределов текстовой совместной фильтрации с использованием больших языковых моделей: открытия и понимание, Arxiv 2023/05, [Paper]
• Понимают ли LLMS предпочтения пользователя? Оценка LLMS по прогнозированию рейтинга пользователей, ARXIV 2023/05, [Paper]
• Закон об масштабировании для моделей рекомендаций: к общему назначению пользовательских представлений, AAAI 2023, [Paper]

Untra Wide & Deep & Long LLM

• StackRec: Эффективное обучение очень глубоких последовательных рекомендательных моделей с помощью итерационной укладки, Sigir 2021, [Paper]
• Пользовательская структура выбора слоя для очень глубоких последовательных моделей рекомендаций, AAAI 2021, [Paper]
• Общая структура сжатия сети для систем последовательных рекомендаций, Sigir 2020, [Paper]
• Закон масштабирования крупных моделей последовательных рекомендаций, Arxiv 2023/11, [Paper]
• Действия говорят громче, чем слова: последовательные преобразователи триллион-параметра для генеративных рекомендаций, Arxiv 2024/03, [Paper]
• Прерывание барьеры длины: прогноз CTR с LLM в поведении с длинным текстовым пользователем, Sigir 2024, [Paper]

Настройка LLM

• CALREC: Контрастительное выравнивание генеративных LLM для последовательной рекомендации, Recsys 2024, [Paper]
• M6-REC: генеративные модели с предварительным языком являются открытыми системами рекомендателей, Arxiv 2022/05, [Paper]
• Tallrec: Эффективная и эффективная структура настройки для выравнивания большой языковой модели с рекомендацией, Arxiv 2023/04, [Paper]
• GPT4REC: генеративная структура для персонализированной рекомендации и интерпретации интересов пользователей, 2023/04, [Paper]
• Двухэтапная парадигма заземления для крупных языковых моделей в системах рекомендаций, Arxiv, 2023/08, [Paper]
• LLAMAREC: двухэтапная рекомендация с использованием больших языковых моделей для ранжирования, PGAI@CIKM 2023, [Paper] [CODE]
• Улучшение последовательных рекомендаций с LLMS, Arxiv 2024/02, [Paper]

Замораживание LLM [ссылка]

• CTR-BERT: экономически эффективная дистилляция знаний для моделей учителей в миллиард параметра ， Arxiv 2022/04, [Paper]
• На пути к единым разговорным рекомендательным системам посредством быстрого обучения, усиленного знаниями, Arxiv 2022/06, [Paper]
• Генеративная рекомендация: к парадигме рекомендации следующего поколения, Arxiv 2023/04, [Paper]
• Изучение верхних пределов текстовой совместной фильтрации с использованием больших языковых моделей: открытия и понимание, Arxiv 2023/05, [Paper]
• Первый взгляд на рекомендацию Generative News с GLM, Arxiv 2023/05, [Paper]
• Рекомендованные системы, обеспечивающие конфиденциальность, с синтетическим генерацией запросов с использованием дифференциально частных моделей крупных языков, Arxiv 2023/05, [Paper]
• Recagent: новая парадигма моделирования для систем рекомендаций, Arxiv 2023/06, [Paper]
• Рекомендация следующего пункта с использованием больших предварительных языковых моделей, Arxiv 2023/04, [Paper]
• Может ли Chatgpt дать справедливую рекомендацию? Оценка справедливости для рекомендации с большой языковой моделью, Recsys 2023
• Использование больших языковых моделей для последовательной рекомендации, Recsys 2023/09, [Paper]
• LlmRec: Модели больших языков с увеличением графика для рекомендации, WSDM 2024 Oral, [Paper] [Code]
• Необходимы ли ID Entgeddings? Отбеливание предварительно обученного текста встроения для эффективной последовательной рекомендации, Arxiv 2024/02, [Paper]

Подсказка с LLM

• Большие языковые модели являются с нулевым выстрелом для рекомендательных систем, Arxiv 2023/05, [Paper]
• Рекомендация в качестве языковой обработки (RLP): единый предварительный, персонализированный подсказка и прогнозируйте парадигму (P5), Arxiv 2022/03, [Paper]
• Языковые модели как рекомендательные системы: оценки и ограничения, Neurips Workshop ICBINB 2021/10, [Paper]
• Быстрое обучение для рекомендации новостей, Sigir 2023/04, [Paper]
• LLM-REC: персонализированная рекомендация посредством побуждения моделей крупных языков, Arxiv, 2023/07 [Paper]

Chatgpt [ссылка]

• Является ли Chatgpt хорошим рекомендацией, предварительное исследование, Arxiv 2023/04, [Paper]
• Хорошн ли в поисках CHATGPT? Исследование крупных языковых моделей в качестве агента повторного ранга, Arxiv 2023/04, [Paper]
• Chat-Rec: к интерактивной и объяснимой системе рекомендаций, Arxiv 2023/04, [Paper]
• Рекомендация в качестве инструкции.
• Использование крупных языковых моделей в разговорных системах рекомендации, Arxiv 2023/05, [Paper]
• Раскрытие возможностей CHATGPT в Security Systems, Arxiv 2023/05, [Paper] [Код]
• Спарки искусственного общего рекомендателя (AGR): Ранние эксперименты с Chatgpt, Arxiv 2023/05, [Paper]
• Является ли Catgpt Fair для рекомендации? Оценка справедливости в рекомендации модели большой языка, Arxiv 2023/05, [Paper] [Code]
• Спарки искусственного общего рекомендателя (AGR): Ранние эксперименты с Chatgpt, Arxiv 2023/05, [Paper]
• PALR: PARNEASIASTAL AMALL LLMS для рекомендации, ARXIV 2023/05, [Paper]
• Рекомендованные системы конфиденциальности с синтетическим генерацией запросов с использованием дифференциально частных моделей крупных языков, Arxiv 2023/05, [Paper]
• Переосмысление оценки для разговорной рекомендации в эпоху крупных языковых моделей, Arxiv 2023/05, [Paper]
• CTRL: подключить табличную и языковую модель для прогнозирования CTR, ARXIV 2023/06, [Paper].

Мультимодальная система рекомендаций

• VBPR: визуальный байесовский персонализированный рейтинг от неявной обратной связи, AAAI2016, [Paper]
• Обучение состязания по отношению к надежной мультимедийной системе рекомендации, TKDE2019, [Paper]
• Графики многомодальных знаний для систем рекомендаций, CIKM 2020, [Paper]
• Онлайн-дистилляция с усиленным многомодальным трансформатором для последовательной рекомендации, ACMMM 2023, [Paper]
• Самоподобная многомодальная последовательная рекомендация, arxiv2023/02, [Paper]
• FMMREC: Multimodal рекомендация с справедливостью, ARXIV2023/10, [Paper]
• Самоподобная многомодальная последовательная рекомендация, Arxiv 2024/02, [Paper]
• ID встраивание в качестве тонких функций контента и структуры для мультимодальной рекомендации, arxiv2023/10, [Paper]
• Улучшение идентификационного слияния и слияния текста с помощью альтернативной тренировки в рекомендации на основе сеансов, arxiv2023/2, [Paper]
• BIVREC: Многомодальная последовательная рекомендация на основе двунаправленной просмотра ， arxiv2023/2, [Paper]
• Большая языковая модель Усовершенствованная последовательная рекомендация для совместной рекомендации видео и комментариев, arxiv2024/2, [Paper]
• Эмпирическое исследование обучения идентификационных мультимодальных последовательных рекомендаций, arxiv2024/3, [Paper]
• Дискретная семантическая токенизация для глубокого прогнозирования CTR, arxiv2024/3, [Paper]
• Средняя обучение мультимодальной модели и модели ранжирования, arxiv2023/3, [Paper]

Основные и передаваемые модели рекомендаций

• Transrec: Переносная рекомендация обучения из обратной связи с смесью модальности, Arxiv 2022/06, [Paper]
• На пути к универсальному представлению последовательности
• Учебное векторное представление предметов для переносимых последовательных рекомендаций, www 2023, [Paper] [Code]
• UP5: Непредвзятая модель фонда для рекомендации с учетом справедливости, Arxiv 2023/05, [Paper]
• Изучение адаптерного переноса обучения для систем рекомендаций: эмпирические исследования и практические идеи, Arxiv 2023/05, [Paper] [Code]
• OpenP5: модели фонда сравнительного анализа для рекомендаций, Arxiv 2023/06, [Paper]
• Тщательно моделирование многодоменной предварительно обученной рекомендации как язык, Arxiv 2023/10, [Paper]
• MissRec: предварительное обучение и перенос многомодального представления последовательностей для рекомендаций, Arxiv 2023/10, [Paper]
• Совместное предварительное представление предмета на основе слов для переносимой рекомендации, Arxiv 2023/11, [Paper]
• Универсальная многомодальная многодоменная предварительно обученная рекомендация, Arxiv 2023/11, [Paper]
• Многомодальность-это все, что вам нужно для передачи рекомендательных систем, Arxiv 2023, [Paper]
• TRANSFR: Передачаемая федеративная рекомендация с предварительно обученными языковыми моделями, Arxiv 2024/02, [Paper]
• Переосмысление междоменной последовательной рекомендации в рамках допущений открытого мира, Arxiv 2024/02, [Paper]
• Модели на крупных языках соответствуют совместной фильтрации: эффективная всесторонняя система рекомендаций на основе LLM, Arxiv 2024/04, [Paper]
• Языковые модели кодируют совместные сигналы в рекомендации, Arxiv 2024/07, [Paper]

Универсальное общее назначение, одно 4all пользовательское обучение

• Параметр-эффективная передача из последовательного поведения для моделирования и рекомендации пользователя, Sigir 2020, [Paper], [Code]
• One4all пользовательский представление для рекомендательных систем в электронной коммерции, Arxiv 2021, [Paper]
• Передача пользователей обучения с последовательным поведением посредством контрастного предварительного обучения, ICDM 2021, [Paper]
• Пользовательский адаптивный тонкий настройка для междоменных рекомендаций, TKDE 2021, [Paper]
• Закон об масштабировании для моделей рекомендаций: к общему назначению пользовательских представлений, AAAI 2023, [Paper]
• U-Bert: Предварительное обучение пользовательских представлений для улучшения рекомендации, AAAI 2021, [Paper]
• Один для всех, все для одного: изучение и передача внедрения пользователей для рекомендации по междомену, WSDM 2022, [Paper]
• Полевые вариационные автоэкодоры для получения мгновенного представления пользователей, ICDE2022, [Paper]
• Изучение крупномасштабного универсального представления пользователей с редкой смесью экспертов, ICML2022WorkShop, [Paper]
• Multi DataSource LTV -представление пользователя (MDLUR), KDD2023, [Paper]
• Основная роль языкового моделирования в рекомендательных системах: обогащение конкретного и агрессического представления задачи. arxiv2022/12, [бумага]
• Пользовательский моделирование и профилирование пользователей: комплексный опрос, 2024/02, [Paper]
• Обобщенные представления пользователей для обучения передачи, Arxiv 2024/03, [Paper]
• Соединение языка и предметов для поиска и рекомендаций ， Arxiv 2024/04, [Paper]

Пожизненное универсальное представление пользователей обучение

• Один человек, одна модель, один мир: обучение постоянному представлению пользователей без забывания, Sigir 2021, [Paper], [Code]
• Tenrec: крупномасштабный многоцелевой набор данных для рекомендательных систем, Neurips 2022 [Paper]
• Стэн: Адаптивная сеть для рекомендации по многозадачне, изучая пользовательский жизненный цикл RevestionG, Recsys 2023, [Paper]
• Задача об отношениях с учетом постоянного представления пользователя, KDD2023, [Paper]
• RELLA: Поиск, усиленные на получении, для понимания последовательного поведения на протяжении всей жизни в рекомендации, ARXIV2023/08, [Paper]

Генеративные системы рекомендаций [ссылка]

• Простая сверточная генеративная сеть для рекомендации следующего элемента, WSDM 2018/08, [Paper] [Код]
• Будущие данные помогают обучать: моделирование будущих контекстов для рекомендации на основе сеансов, www 2020/04, [Paper] [Код]
• Рекомендация с помощью генеративной модели диффузии совместной диффузии, KSEM 2022/08, [Paper]
• Модели процесса размытия-ширина для совместной фильтрации, Arxiv 2022/09, [Paper]
• Генеративная рекомендация сланца с обучением подкрепления, Arxiv 2023/01, [Paper]
• Рекомендованные системы с генеративным поиском, Arxiv 2023/04, [Paper]
• Diffurec: диффузионная модель для последовательной рекомендации, Arxiv 2023/04, [Paper]
• Модель рекомендации диффузии, Arxiv 2023/04, [Paper]
• Первый взгляд на рекомендацию Generative News с GLM, Arxiv 2023/05, [Paper]
• Рекомендованные системы с генеративным поиском, Arxiv 2023/05, [Paper]
• Генеративный поиск как плотный поиск, Arxiv 2023/06, [Paper]
• Рефузия: процесс биномиальной диффузии для 1D данных для рекомендации, Arxiv 2023/06, [Paper]
• Генеративная последовательная рекомендация с GPTREC, SIGIR Workshop 2023, [Paper]
• Поклонники: быстрое неавторегрессивное генерация последовательности для продолжения списка предметов, www 2023, [Paper]
• Генеративная рекомендация следующей корзины, Recsys 2023
• Рекомендации с большим языком дополненные повествовательные рекомендации, Recsys 2023, [Paper]
• Lightlm: Легкая глубокая и узкая языковая модель, рекомендация по зановому, Arxiv 2023/10, [Paper]

Связанные ресурсы:

• Xiangyang li github [ссылка]
• nancheng58i github [ссылка]
• enoche github [ссылка]
• Wlik github [ссылка]
• https://github.com/chiangel/awesome-llm-for-reecsys
• https://medium.com/@lifengyi_6964/a-large-scale-short-video-recommender-system-dataset-160fdfe81b79
• https://medium.com/@lifengyi_6964/Rethinding-the-id-paradigm-in-recommender-systems-the-rise-ofmodality-98f449dec016
• https://medium.com/@lifengyi_6964/one-model-for-all-uliniversal-recommender-system-82dab214a07d
• https://zhuanlan.zhihu.com/p/437671278
• https://zhuanlan.zhihu.com/p/675213913
• https://zhuanlan.zhihu.com/p/684805058
• https://zhuanlan.zhihu.com/p/665467596