Search_Ads_Web_Service

搜索广告网络服务

在线搜索广告平台和实时广告系列监视

项目描述

• 设计和开发的Web爬行者从Amazon（Java，JSoup，代理）爬了500000个产品数据
• 开发的搜索广告工作流支持：查询理解，倒置索引（带有MEMCACHED）的广告选择，广告排名，广告过滤器，广告定价，广告分配
• 设计和实现的功能工程管道，该管道生成特征，以查询理解并使用Spark MapReduce点击预测

爬行者

使用JSOUP在亚马逊上抓取信息。

• 完成的
  • 提取价格，产品详细信息URL，产品图像URL，网页类别
  • 将每个产品转换为广告
  • 将广告存储以归档，每个广告以JSON格式。
  • 支持分页
  • 日志所有异常

避免检测机器人

• 代理IP和旋转的眉毛
• 分发爬行者

在线搜索广告平台

搜索广告将在线广告放置在前端页面上，这些广告向用户搜索引擎查询显示结果。该搜索广告服务器将数千个产品数据作为候选广告，选择，过滤器，等级，分配和价格在搜索查询进入时广告。搜索广告的选择和排名基于广告的质量以及广告商提供的出价价格。

查询理解

• 清洁Lucean的文字
• 使用ADS关键字语料库训练Word2向量模型并使用同义词重写查询

查询相关性匹配

广告Candiate将首先通过相关得分评估和过滤。相关得分是衡量与广告中的关键词相关的查询。在这里，相关得分=单词匹配查询的数量 /单词总数。为了快速重述AD信息，ADS关键字的倒置索引是在Cache中构建并存储的。

支持在线系统的数据层：

• 广告详细信息的正向索引（MySQL）
• AD关键字的倒置索引（MEMCACHED）

P键预测

用户点击（P-CLICK）的可能性在ADS排名中起重要作用。

使用Spark ML进程模拟用户单击日志数据并生成预测模型。

• 单击日志

日志：设备IP，设备ID，会话ID，查询，ADID，ApaindID，ad_category_query_category（0/1），单击（0/1）

• 特征空间

PCLICK功能从搜索日志中提取并存储在钥匙值商店中

• 模型

逻辑回归

梯度提升树

在线广告排名和定价

质量得分= 0.25 *相关得分 + 0.75 * PCLICK

等级得分=质量得分 *出价

价格（每次点击费用）=下一个排名分数 /当前质量得分 + 0.01

系统

在接收搜索查询时，系统将查询与使用倒置索引的广告关键字匹配以获取相关性分数，并通过从50GB历史点击数据生成的回归模型来预测点击的概率。广告的质量将由相关得分和点击概率确定。广告引擎计算出质量得分，并将其与广告出价价格相结合，以获得最终排名和定价。

实时活动监视器

实时广告系列监视器系统构建用于收集由在线广告服务器生成的广告相关事件，并吸引广告系列的趋势。

加入事件流

他实时广告系列监视系统是一条流媒体管道，可收集和处理在线搜索广告引擎产生的广告事件。偶然事件，印象事件和广告的点击事件已发布到消息队列并以流方式存储在数据库中。前端仪表板可视化预算状态和动态印象，广告系列的点击和定价趋势。

流管线

仪表板可视化