castroom

概述

Castroom是播客搜索引擎。它主要是为了学习如何使用Kubernetes制作分布式的Web爬行者。它能够在几个小时内收集数十万个播客，并且可以通过一个简单的命令轻松地扩展。

项目结构

发现

掌握

• 协调所有crawler工作
• 维护本地缓存（使用LevelDB），以防止相同的URL多​​次爬行
• 从crawler节点接收数据，然后推到队列
• 爬行网站后， crawler节点将所有数据发送到该节点
• 将数据发送到Elasticsearch完成完成
• 由Google Kubernetes引擎管理

爬行者

• 爬网iTunes播客页面，并将批处理数据发送给master节点以进行缓存
• 通过代理绕过某些限制
• 由Google Kubernetes引擎管理

API

• 提供查询Elasticsearch和检索播客提要信息的终点
• 主持在Heroku

网络

• 搜索引擎的前端
• 由Firebase Hosting管理

使用的技术

• Docker
• Google Kubernetes引擎
• 亚马逊简单队列服务
• Amazon Elasticsearch服务
• Heroku
• 火基托管
• 反应
• node.js
• LevelDB
• Datadog

屏幕截图