온라인 검색 광고 플랫폼 및 실시간 캠페인 모니터링
JSOUP을 사용하여 Amazon의 Crawler 정보를 크롤링했습니다.
검색 광고는 검색 엔진 쿼리의 사용자에게 결과를 보여주는 프론트 엔드 페이지에 온라인 광고를 배치합니다. 이 검색 광고 서버는 검색 쿼리가 들어올 때 광고를 선택, 필터링, 순위, 할당 및 가격으로 광고 후보자로 수천 개의 제품 데이터를 가져옵니다. 검색 광고의 선택 및 순위는 광고 품질 및 광고주가 제공하는 입찰 가격을 기반으로합니다.
ADS Candiate는 먼저 관련성 점수로 평가 및 필터링됩니다. 관련성 점수는 ADS의 주요 단어와 관련된 쿼리의 방법을 측정하는 것입니다. 여기서는 관련성 점수 = 단어 일치 쿼리 수 / 키워드의 총 단어 수입니다. ADS Infomation의 빠른 Retreival을 위해 ADS 키워드의 역 지수가 캐시에 구축되어 저장되었습니다.
온라인 시스템 지원을위한 데이터 계층 :
사용자 클릭 (P-Click)의 확률은 광고 순위에서 중요한 역할을합니다.
Spark ML 프로세스 시뮬레이션 사용자 로그 데이터를 클릭하고 예측 모델을 생성하십시오.
로그 : 장치 IP, 장치 ID, 세션 ID, 쿼리, adid, campaignId, ad_category_query_category (0/1), 클릭 (0/1)
검색 로그에서 추출한 Pclick 기능 및 키 값 저장소에 저장된 기능
로지스틱 회귀
그라디언트 부스트 트리
품질 점수 = 0.25 * 관련 점수 + 0.75 * pclick
순위 점수 = 품질 점수 * 입찰
가격 (클릭당 비용) = 다음 순위 점수 / 현재 품질 점수 + 0.01
검색 쿼리를 수신 할 때 시스템은 반전 인덱스를 사용하여 AD의 키워드와 쿼리를 다시 작성하여 관련성 점수를 얻고 50GB 히스토리 클릭 데이터에서 생성 된 회귀 모델에 의한 클릭 확률을 예측합니다. 광고 품질은 관련성 점수와 클릭 확률에 따라 결정됩니다. ADS 엔진은 품질 점수를 계산하고 최종 순위 및 가격에 대한 ADS 입찰 가격과 결합합니다.
실시간 캠페인 모니터 시스템은 온라인 광고 서버에서 생성 된 ADS 관련 이벤트를 수집하고 캠페인의 추세를 방문하기 위해 구축되었습니다.
그는 실시간 캠페인 모니터링 시스템은 온라인 검색 광고 엔진에서 생성 된 ADS 이벤트를 수집하고 처리하는 스트리밍 파이프 라인입니다. ADS의 기회 이벤트, 인상 이벤트 및 클릭 이벤트는 메시지 대기열에 게시되어 스트리밍 방식으로 데이터베이스에 저장하도록 처리됩니다. 프론트 엔드 대시 보드는 예산 상태 및 동적 인상을 시각화하고 캠페인의 클릭 및 가격 책정 추세를 시각화합니다.