castroom

概述

Castroom是播客搜索引擎。它主要是為了學習如何使用Kubernetes製作分佈式的Web爬行者。它能夠在幾個小時內收集數十萬個播客，並且可以通過一個簡單的命令輕鬆地擴展。

項目結構

發現

掌握

• 協調所有crawler工作
• 維護本地緩存（使用LevelDB），以防止相同的URL多​​次爬行
• 從crawler節點接收數據，然後推到隊列
• 爬行網站後， crawler節點將所有數據發送到該節點
• 將數據發送到Elasticsearch完成完成
• 由Google Kubernetes引擎管理

爬行者

• 爬網iTunes播客頁面，並將批處理數據發送給master節點以進行緩存
• 通過代理繞過某些限制
• 由Google Kubernetes引擎管理

API

• 提供查詢Elasticsearch和檢索播客提要信息的終點
• 主持在Heroku

網絡

• 搜索引擎的前端
• 由Firebase Hosting管理

使用的技術

• Docker
• Google Kubernetes引擎
• 亞馬遜簡單隊列服務
• Amazon Elasticsearch服務
• Heroku
• 火基託管
• 反應
• node.js
• LevelDB
• Datadog

屏幕截圖