CTR (Click-Strough Rate) 예측은 온라인 광고, 추천 시스템 및 스폰서 검색과 같은 다양한 산업 응용 프로그램에 중요한 작업입니다. FUXICTR은 구성 가능성, 조정 성 및 재현성의 주요 기능을 갖춘 CTR 예측을위한 오픈 소스 라이브러리를 제공합니다. 우리는이 프로젝트가 재현 가능한 연구를 촉진 하고이 분야의 연구원과 실무자 모두에게 도움이되기를 바랍니다.
구성 가능 : 데이터 전처리 및 모델은 모두 모듈화되고 구성 가능합니다.
조정 가능 : 손쉬운 구성을 통해 모델을 자동으로 조정할 수 있습니다.
재현 가능 : 모든 벤치 마크를 쉽게 재현 할 수 있습니다.
확장 가능 : 새로운 모델로 쉽게 확장 할 수 있으며, Pytorch 및 Tensorflow 프레임 워크를 모두 지원합니다.
| 아니요 | 출판 | 모델 | 종이 | 기준 | 버전 |
|---|---|---|---|---|---|
| 기능 상호 작용 모델 기능 | |||||
| 1 | www'07 | LR | 클릭 예측 : 새로운 광고의 클릭 제한 속도 추정 Microsoft | torch | |
| 2 | ICDM'10 | FM | 인수 화 기계 | torch | |
| 3 | cikm'13 | DSSM | 클릭 스루 데이터 Microsoft를 사용하여 웹 검색을위한 깊은 구조적 의미 론적 모델 학습 | torch | |
| 4 | cikm'15 | CCPM | 컨볼 루션 클릭 예측 모델 | torch | |
| 5 | Resy'16 | FFM | CTR 예측 크리 테오를 위한 현장 인식 인수 화 기계 | torch | |
| 6 | Resy'16 | DNN | YouTube 권장 사항 Google을 위한 깊은 신경망 | torch , tf | |
| 7 | DLRS'16 | 넓고 깊이 | 추천 시스템 Google 을위한 넓고 딥 러닝 | torch , tf | |
| 8 | ICDM'16 | PNN | 사용자 응답 예측을위한 제품 기반 신경망 | torch | |
| 9 | KDD'16 | 깊은 교차 | 딥 횡단 : 수동으로 제작 된 조합 기능이없는 웹 스케일 모델링 Microsoft | torch | |
| 10 | NIPS'16 | HOFM | 고차 인수화 기계 | torch | |
| 11 | ijcai'17 | DeepFM | DeepFM : CTR 예측을위한 인수 분해기 기반 신경망 Huawei | torch , tf | |
| 12 | Sigir'17 | NFM | 드문 예측 분석을위한 신경 요인화 기계 | torch | |
| 13 | ijcai'17 | AFM | 주의력 요인화 기계 :주의 네트워크를 통한 기능 상호 작용의 무게 학습 | torch | |
| 14 | Adkdd'17 | DCN | 광고 클릭 예측을위한 Deep & Cross Network Google | torch , tf | |
| 15 | www'18 | FWFM | 디스플레이 광고 맹세, 터치팔, LinkedIn, Alibaba의 클릭률 예측을위한 필드 가중 인수 화기 | torch | |
| 16 | KDD'18 | XDEEPFM | XDEEPFM : 추천 시스템의 명시 적 및 암시 적 기능 상호 작용 결합 Microsoft | torch | |
| 17 | cikm'19 | Fignn | FIGNN : CTR 예측을위한 그래프 신경망을 통한 모델링 기능 상호 작용 | torch | |
| 18 | cikm'19 | Autoint/Autoint+ | Autoint : 자체적 신경 네트워크를 통한 자동 기능 상호 작용 학습 | torch | |
| 19 | Rescys'19 | Fibinet | FIBINET : 클릭률 속도 예측을위한 기능 중요성 및 이중선 기능 상호 작용 결합 Sina Weibo | torch | |
| 20 | www'19 | fgcnn | 클릭금 속도 예측을위한 Convolutional Neural Network의 기능 생성 Huawei | torch | |
| 21 | aaai'19 | HFM/HFM+ | 추천을위한 홀로그램 인수 화 기계 | torch | |
| 22 | Arxiv'19 | DLRM | 개인화 및 추천 시스템을위한 딥 러닝 추천 모델 Facebook | torch | |
| 23 | Neuralnetworks'20 | onn | 사용자 응답 예측을위한 운영 인식 신경망 | torch , tf | |
| 24 | aaai'20 | AFN/AFN+ | 적응 형 요인화 네트워크 : 학습 적응기 기능 상호 작용 | torch | |
| 25 | aaai'20 | Lorentzfm | Lorentzian 인수 분해 eBay 와의 학습 기능 상호 작용 | torch | |
| 26 | WSDM'20 | 간호 | 계층 적주의 NEC Labs, Google을 통한 해석 가능한 클릭률 예측 | torch | |
| 27 | DLP-KDD'20 | 플렌 | FLEN : 확장 가능한 CTR 예측 Tencent의 필드를 활용합니다 | torch | |
| 28 | cikm'20 | Deepim | Deep Interaction Machine : 고차 기능 상호 작용을위한 간단하지만 효과적인 모델 Alibaba, Realai | torch | |
| 29 | www'21 | FMFM | FM^2 : 추천 시스템 Yahoo 용 필드 매트릭스 인수 화기 | torch | |
| 30 | www'21 | DCN-V2 | DCN v2 : 웹 스케일 학습을위한 Deep & Cross Network 개선 및 실질적인 교훈 Google | torch | |
| 31 | cikm'21 | 목적지 | 클릭 제한 속도 예측 Alibaba를 위한 자체 항목 신경망을 분리했습니다 | torch | |
| 32 | cikm'21 | EDCN | 병렬 깊은 CTR 모델에 대한 정보 공유를 통한 명시 적 및 암시 적 기능 상호 작용 향상 Huawei | torch | |
| 33 | DLP-KDD'21 | 마스크 넷 | MASKNET : 인스턴스 유도 마스크 Sina Weibo 의 CTR 순위 모델에 기능별 곱셈 도입 | torch | |
| 34 | 시기 21 | 샘 | CTR 예측을 다시보고 :주의가 필요한 모든 것이 있습니까? 보스 Zhipin | torch | |
| 35 | KDD'21 | Aoanet | 온라인 권장 사항을위한 아키텍처 및 운영 적응 네트워크 didi chuxing | torch | |
| 36 | aaai'23 | FinalMlp | FinalMLP : CTR 예측을위한 향상된 2 스트림 MLP 모델 Huawei | torch | |
| 37 | 시기 23 | Finalnet | 최종 : CTR 예측 Huawei에 대한 인수 상호 작용 층 | torch | |
| 38 | 시기 23 | Eulernet | Eulernet : CTR 예측을위한 Euler의 공식을 통한 적응 기능 상호 작용 학습 Huawei | torch | |
| 39 | cikm'23 | GDCN | CTR 예측을위한 더 깊고 가볍고 해석 가능한 크로스 네트워크를 향해 Microsoft | torch | |
| 40 | ICML'24 | Wukong | Wukong : 대규모 추천 메타 를위한 스케일링 법으로 | torch | |
| 행동 시퀀스 모델링 | |||||
| 42 | KDD'18 | 소음 | 클릭률 예측을위한 깊은 관심 네트워크 Alibaba | torch | |
| 43 | aaai'19 | 디엔 | 클릭률 예측을위한 깊은 관심 진화 네트워크 Alibaba | torch | |
| 44 | DLP-KDD'19 | BST | 알리바바 알리바바 에서 전자 상거래 권장을위한 동작 서열 변압기 | torch | |
| 45 | cikm'20 | Dmin | 클릭률 예측 Alibaba를 위한 깊은 다중 인터 네트워크 | torch | |
| 46 | aaai'20 | DMR | 개인화 된 클릭률 요율 예측 Alibaba 에 대한 랭크 모델과의 일치 | torch | |
| 47 | DLP-KDD'22 | 에타 | 클릭금 속도 예측을위한 효율적인 긴 순차 사용자 데이터 모델링 Alibaba | torch | |
| 48 | cikm'22 | sdim | CTR 예측 Meituan을 위한 장기 사용자 동작 모델링에 필요한 샘플링은 전부입니다. | torch | |
| 49 | KDD'23 | 거래 | Transact : Pinterest Pinterest 에서 권장 사항을위한 변압기 기반 실시간 사용자 작업 모델 | torch | |
| 동적 웨이트 네트워크 | |||||
| 50 | Neurips'22 | APG | APG : 클릭 스루 비율 예측을위한 적응 형 매개 변수 생성 네트워크 Alibaba | torch | |
| 51 | KDD'23 | ppnet | PEPNET : 개인화 된 사전 정보를 주입하기위한 매개 변수 및 임베딩 kuaishou | torch | |
| 멀티 태스킹 모델링 | |||||
| 52 | Arxiv'17 | ShareBottom | 심층 신경망에서 멀티 태스킹 학습에 대한 개요 | torch | |
| 53 | KDD'18 | mmoe | 다중 게이트 혼합 experts Google을 사용한 멀티 태스킹 학습의 모델링 작업 관계 | torch | |
| 54 | Rescys'20 | ple | PLE (Progressive Layered Extraction) : 개인화 된 권장 사항을위한 새로운 멀티 태스킹 학습 (MTL) 모델 Tencent | torch | |
우리는 다음과 같이 오픈 데이터 세트 세트에서 FuxICTR 모델을 벤치마킹했습니다.
fuxictr은 다음과 같은 종속성을 가지고 있습니다.
pip install -r requirements.txt 통해 다른 필수 패키지를 설치하십시오.
데모 예제를 실행하십시오
Demo 디렉토리에 예제가 제공되어 FuxICTR의 기본 사용법을 보여줍니다. 사용자는 빠른 시작을 위해 예제를 실행하고 워크 플로를 이해할 수 있습니다.
cd demo
python example1_build_dataset_to_parquet.py
python example2_DeepFM_with_parquet_input.py
작은 데이터에 대한 모델을 실행하십시오
사용자는 아래 명령에 따라 모델 동물원에서 각 모델을 쉽게 실행할 수 있습니다.이 명령은 DCN을 실행하기위한 데모입니다. 또한 사용자는 데이터 세트 구성 및 모델 구성 파일을 수정하여 자체 데이터 세트 또는 새로운 하이퍼 파라미터로 실행할 수 있습니다. 자세한 내용은 readme에서 찾을 수 있습니다.
cd model_zoo/DCN/DCN_torch
python run_expid.py --expid DCN_test --gpu 0
# Change `MODEL` according to the target model name
cd model_zoo/MODEL
python run_expid.py --expid MODEL_test --gpu 0
벤치 마크 데이터 세트 (예 : Criteo)에서 모델 실행
사용자는 벤치 마크 섹션을 따라 벤치 마크 데이터 세트를 얻고 기존 결과를 재현하기위한 실행 단계를 얻을 수 있습니다. 예를 참조하십시오 : https://github.com/reczoo/bars/tree/main/ranking/ctr/dcnv2/dcnv2_criteo_x1
새로운 모델을 구현하십시오
FUXICTR 라이브러리는 모듈화되도록 설계되었으므로 모든 구성 요소가 사용자가 필요에 따라 덮어 쓰일 수 있습니다. 대부분의 경우 새로운 맞춤형 모델에 대해 모델 클래스 만 구현해야합니다. 데이터 전처리 또는 데이터 로더가 직접적으로 적용되지 않으면 코어 API를 통해 새 제품을 덮어 쓸 수도 있습니다. 우리는 최근 AAAI 2023에 발표 된 새로운 모델 FinalMLP를 구현하는 구체적인 예를 보여줍니다.
모델의 하이퍼 파라미터를 조정하십시오
FUXICTR은 현재 여러 GPU를 사용하여 모델의 하이퍼 파라미터를 빠르게 그리드 검색합니다. 다음 예는 4 GPU를 사용한 8 개의 실험의 그리드 검색을 보여줍니다.
cd experiment
python run_param_tuner.py --config config/DCN_tiny_parquet_tuner_config.yaml --gpu 0 1 2 3 0 1 2 3
귀하의 연구에 도움이되는 코드 또는 벤치 마크가 도움이되면 다음 논문을 인용하십시오.
질문과 토론을 위해 Wechat 그룹에 가입하는 데 오신 것을 환영합니다. 추천 시스템의 연구 및 실무에 관심이 있으시면 WeChat 그룹을 통해 연락하십시오.