Search_Ads_Web_Service

Suchen Sie Anzeigen -Webdienst

Online -Suchwerbung Plattform und Echtzeitkampagnenüberwachung

Projektbeschreibung

• Entworfen und entwickelt Webcrawler, das 500000 Produktdaten von Amazon (Java, JSOUP, Proxy) krochete
• Entwicklung von Suchanzeigen Workflow -Unterstützung: Abfrageverständnis, ADS -Auswahl aus dem invertierten Index (mit Memcached), Anzeigenranking, Anzeigenfilter, ADS -Preisgestaltung, ADS -Allokation
• Entworfene und implementierte Feature Engineering -Pipeline, die Funktionen für das Verständnis von Abfragen generiert und mit Spark MapReduce auf Vorhersage klicken

Crawler

Verwendet JSOUP, um Informationen auf Amazon zu crawler.

• Fertig
  • Preis von Preis, Produktdetail -URL, Produktbild -URL, Kategorie von der Webseite
  • Konvertieren Sie jedes Produkt in Anzeigen
  • Speichern Sie Anzeigen, um jede Anzeige im JSON -Format zu versehen.
  • Unterstützen Sie Paging
  • Alle Ausnahme protokollieren

Vermeiden Sie die Erkennung von Bot

• Proxy -IP und rotierender Brower
• Crawler verteilen

Online -Suchanzeigenplattform

Suchwerbung platziert Online -Anzeigen auf Seiten, auf denen Benutzer von ihren Suchmaschinenabfragen Ergebnisse angezeigt werden. Dieser Such -Anzeigenserver nimmt Tausende von Produktdaten als Anzeigenkandidaten und auswählt, filtert, Ranglisten, Zuordnungen und Preise die Anzeigen, wenn die Suchabfrage eingeht. Die Auswahl und das Ranking von Suchanzeigen basieren auf der Qualität der Anzeigen und dem von Werbetreibenden angebotenen Angebotspreis.

Abfrageverständnis

• Reinigen Sie den Text von Lucean
• Trainieren Sie Word2Vector -Modell mithilfe von ADS -Keywords Corpus und verwenden Sie Synonyme, um die Abfrage neu zu schreiben

Abfrage Relevancy Matching

ADS Candiate wird zuerst bewertet und durch Relevanzbewertung gefiltert. Die Relevanzbewertung besteht darin, zu messen, wie relevant Abfrage zu Schlüsselwörtern in Anzeigen ist. Hier die Relevanz -Punktzahl = Anzahl der Word -Übereinstimmungen / Gesamtzahl der Wörter in Schlüsselwörtern. Für eine schnelle Retresivierung der ADS -Infomation wurden der invertierte Index der Anzeigen -Schlüsselwörter erstellt und in Cache gespeichert.

Die Datenebene für die Unterstützung von Online -Systemen:

• Index für Anzeigendetailinformationen (MySQL) vor Ort vorstellen
• Umgekehrter Index für Anzeigen -Schlüsselwörter (memcached)

P-Klick-Vorhersage

Die Wahrscheinlichkeit des Benutzerklicks (P-Klick) spielt eine wichtige Rolle im Anzeigenranking.

Verwenden Sie Spark ML Process Simulated User Klicken Sie auf Protokolldaten und generieren Sie das Vorhersagemodell.

• Klicken Sie auf Protokoll

Protokoll: Geräte -IP, Geräte -ID, Sitzungs -ID, Abfrage, Adid, Kampagne, ad_category_query_category (0/1), klickte (0/1).

• Platz für Platz

PCLICK-Funktionen aus Suchprotokoll extrahiert und im Schlüsselwertgeschäft gespeichert

• Modell

Logistische Regression

Gradienten -Boosting -Baum

Online -Anzeigen Ranking und Preisgestaltung

Qualitätsbewertung = 0,25 * Relevanzbewertung + 0,75 * Pclick

Rang Score = Qualitätsbewertung * Gebot

Preis (Kosten pro Klick) = Nächste Rangbewertung / aktuelle Qualitätsbewertung + 0,01

System

Beim Empfangen von Suchabfragen entspricht das System die Abfrage mit Schlüsselwörtern von Anzeigen mit einem invertierten Index um, um die Relevanzbewertung zu erhalten, und prognostizieren die Wahrscheinlichkeit von Klicken durch das Regressionsmodell, das aus historischen Klickdaten von 50 GB generiert wurde. Die Qualität der Anzeigen wird sowohl durch Relevanzbewertung als auch durch die Klickwahrscheinlichkeit bestimmt. Der ADS -Motor berechnet die Qualitätsbewertung und kombiniert ihn mit dem ADS -Gebotspreis für die endgültige Rangliste und Preise.

Echtzeit -Kampagnenmonitor

Das Echtzeit -Kampagnen -Monitor -System wurde für das Sammeln der von Online -Anzeigenserver generierten Anzeigen erstellt und die Trends von Kampagnen visulieren.

Verbinden Sie Ereignisse

Das Echtzeit -Kampagnenüberwachungssystem ist eine Streaming -Pipeline, die die ADS -Ereignisse sammelt und verarbeitet, die von Online -Suchanzeigen -Motor generiert werden. Die zufälligen Ereignisse, Impressionenereignisse und Klickereignisse von Anzeigen werden veröffentlicht, um Warteschlangen zu melden und in Datenbank in Streaming -Weise zu speichern. Das Front -End -Dashboard visualisiert den Budgetstatus und den dynamischen Eindruck, den Klick und die Preisgestaltung von Kampagnen.

Streaming -Pipeline

Dashboard -Visualisierung