ملخص
كاستروم هو محرك بحث بودكاست. تم صنعه في المقام الأول لتعلم كيفية صنع زاحف ويب موزعة باستخدام Kubernetes. إنها قادرة على جمع مئات الآلاف من المواد الصوتية في غضون ساعات قليلة ، ويمكن بسهولة زيادة المزيد مع أمر واحد بسيط.
هيكل المشروع
اكتشاف
يتقن
- ينسق جميع وظائف
crawler - يحافظ على ذاكرة التخزين المؤقت المحلية (باستخدام LevelDB) لمنع زحف عنوان URL نفسه عدة مرات
- يتلقى بيانات من العقد
crawler ويدفع إلى قائمة الانتظار - ترسل العقد
crawler جميع البيانات إلى هذه العقدة بعد الزحف إلى موقع ويب - إرسال البيانات إلى Elasticsearch عند الانتهاء
- تديرها محرك Google Kubernetes
الزاحف
- زحف صفحات بودكاست iTunes ويرسل بيانات مزدوجة إلى العقدة
master للتخزين المؤقت - يمر عبر وكيل لتجاوز بعض القيود
- تديرها محرك Google Kubernetes
API
- يوفر نقاط النهاية للاستعلام عن Elasticsearch واسترداد معلومات تغذية البودكاست
- استضافها على هيروكو
الويب
- الواجهة الأمامية لمحرك البحث
- تديرها استضافة Firebase
التقنيات المستخدمة
- عامل ميناء
- محرك Google Kubernetes
- خدمة قائمة انتظار Amazon Simple
- خدمة Amazon Elasticsearch
- هيروكو
- استضافة Firebase
- رد فعل
- node.js
- LevelDB
- datadog
لقطات الشاشة
