castroom

개요

Castroom은 팟 캐스트 검색 엔진입니다. Kubernetes를 사용하여 분산 웹 크롤러를 만드는 방법을 배우기 위해 주로 만들어졌습니다. 몇 시간 내에 수십만 개의 팟 캐스트를 수집 할 수 있으며 하나의 간단한 명령으로 더 쉽게 확장 할 수 있습니다.

프로젝트 구조

발견

주인

• 모든 crawler 작업을 조정합니다
• 동일한 URL이 여러 번 크롤링되는 것을 방지하기 위해 로컬 캐시 (LevelDB 사용)를 유지 관리합니다.
• crawler 노드에서 데이터를 수신하고 대기열로 푸시합니다.
• crawler 노드는 웹 사이트를 크롤링 한 후 모든 데이터를이 노드로 보냅니다.
• 완료시 Elasticsearch에 데이터를 보냅니다
• Google Kubernetes Engine에서 관리합니다

무한 궤도

• iTunes 팟 캐스트 페이지 크롤링 및 캐싱을 위해 배치 된 데이터를 master 노드로 보냅니다.
• 특정 제한을 우회하기 위해 프록시를 통과합니다
• Google Kubernetes Engine에서 관리합니다

API

• Elasticsearch 쿼리 및 팟 캐스트 피드 정보 검색을위한 엔드 포인트 제공
• Heroku에서 주최합니다

편물

• 검색 엔진의 프론트 엔드
• Firebase 호스팅에서 관리합니다

사용 된 기술

• 도커
• Google Kubernetes 엔진
• 아마존 간단한 대기열 서비스
• Amazon Elasticsearch Service
• 헤로쿠
• Firebase 호스팅
• 반응
• node.js
• LevelDB
• Datadog

스크린 샷