Search_Ads_Web_Service

Cari Layanan Web Iklan

Platform Iklan Pencarian Online & Pemantauan Kampanye Realtime

Deskripsi proyek

• Dirancang dan dikembangkan perayap web yang merangkak 500000 data produk dari Amazon (Java, JSoup, proxy)
• Dukungan alur kerja iklan pencarian yang dikembangkan: pemahaman kueri, pemilihan iklan dari indeks terbalik (dengan memcached), peringkat iklan, filter iklan, harga iklan, alokasi iklan
• Pipa rekayasa fitur yang dirancang dan diimplementasikan yang menghasilkan fitur untuk pemahaman kueri dan klik prediksi dengan Spark MapReduce

Crawler

Menggunakan JSoup untuk merayap informasi di Amazon.

• Selesai
  • Ekstrak Harga, URL Detail Produk, URL Gambar Produk, Kategori dari Halaman Web
  • Konversi setiap produk menjadi iklan
  • Simpan iklan untuk diarsipkan, setiap iklan dalam format JSON.
  • Dukung paging
  • Log semua pengecualian

Hindari deteksi bot

• IP proxy dan brower berputar
• Mendistribusikan crawler

Platform Iklan Pencarian Online

Cari iklan menempatkan iklan online di halaman ujung depan yang menunjukkan hasil kepada pengguna dari permintaan mesin pencari mereka. Server ADS pencarian ini membutuhkan ribuan data produk sebagai kandidat iklan dan memilih, filter, peringkat, mengalokasikan dan harga iklan ketika kueri pencarian masuk. Pemilihan dan peringkat iklan pencarian didasarkan pada kualitas iklan dan harga penawaran yang ditawarkan oleh pengiklan.

Pemahaman permintaan

• Bersihkan teks oleh Lucean
• Latih Model Word2Vector Menggunakan Kata Kunci ADS Corpus dan Gunakan Sinonim untuk Menulis Kueri

Pencocokan relevansi permintaan

ADS Candiate pertama -tama akan dievaluasi dan disaring oleh skor relevansi. Skor relevansi adalah untuk mengukur seberapa relevan kueri untuk kata -kata kunci dalam iklan. Di sini skor relevansi = jumlah kueri kecocokan kata / jumlah total kata dalam kata kunci. Untuk pengembalian cepat infomasi ADS, indeks kata kunci ADS terbalik dibangun dan disimpan dalam cache.

Lapisan data untuk mendukung sistem online:

• Indeks Maju untuk Informasi Detail Iklan (MySQL)
• Indeks terbalik untuk kata kunci iklan (memcached)

Prediksi p-klik

Probabilitas klik pengguna (p-click) memainkan peran penting dalam peringkat iklan.

Gunakan Proses Spark ML Data Log Klik Pengguna dan Hasilkan Model Prediksi.

• Klik Log

Log: IP Perangkat, ID Perangkat, ID Sesi, Kueri, Adid, CampaignID, AD_Category_Query_Category (0/1), diklik (0/1)

• Fitur ruang

fitur pclick diekstraksi dari log pencarian dan disimpan di toko nilai kunci

• Model

Regresi logistik

Pohon meningkatkan gradien

Peringkat dan harga iklan online

Skor Kualitas = 0,25 * Skor Relevansi + 0,75 * PClick

Skor peringkat = skor kualitas * tawaran

Harga (biaya per klik) = skor peringkat berikutnya / skor kualitas saat ini + 0,01

Sistem

Saat menerima kueri pencarian, sistem cocok dengan menulis ulang kueri dengan kata kunci iklan menggunakan indeks terbalik untuk mendapatkan skor relevansi, dan memprediksi probabilitas klik oleh model regresi yang dihasilkan dari data klik historis 50GB. Kualitas iklan akan ditentukan oleh skor relevansi dan probabilitas klik. Mesin ADS menghitung skor kualitas dan menggabungkannya dengan harga tawaran iklan untuk peringkat akhir dan harga.

Monitor Kampanye Waktu Nyata

Sistem monitor kampanye waktu nyata dibangun untuk mengumpulkan acara -acara relevan iklan yang dihasilkan oleh server iklan online dan visulasi tren kampanye.

Bergabunglah dengan aliran acara

Sistem pemantauan kampanye waktu nyata adalah pipa streaming yang mengumpulkan dan memproses acara iklan yang dihasilkan oleh mesin iklan pencarian online. Acara kebetulan, peristiwa kesan, dan acara klik iklan diterbitkan untuk mengantri pesan dan diproses untuk disimpan dalam database dengan cara streaming. Dasbor ujung depan memvisualisasikan status anggaran dan kesan dinamis, klik dan tren harga kampanye.

Pipa streaming

Visualisasi Dasbor