data engineering mta turnstile

Introduction au processus d'ingénierie des données fondamentales

Bienvenue dans le projet Data Engineering MTA Tursitile! Ce référentiel exploite les données de tourniquet MTA du monde réel, offrant un guide complet des concepts d'ingénierie des données grâce à une expérience pratique.

Qu'y a-t-il à l'intérieur?

• Livre étendu: Fondamentaux du processus d'ingénierie des données. Plongez profondément dans les concepts de base de l'ingénierie des données avec ce guide détaillé.

• Vidéos YouTube: Suivez des tutoriels vidéo détaillés qui expliquent chaque étape et concept en détail.

• Base de code complète: nos fonctionnalités de base de code:

  • Python: scripts de base et traitement des données.
  • Cahiers Jupyter: exploration et visualisation interactives des données.
  • SQL: requêtes et transformations de base de données.
  • Looker Studio: Advanced Analytics and Reporting.
  • Cloud Data Lake: stockage de données efficace et évolutif.
  • Entrepôt de données: gestion des données structurées.
  • Autres technologies cloud: utilisez divers outils basés sur le cloud pour implémenter votre solution étape par étape.

Pourquoi utiliser ce référentiel?

• Application du monde réel: basé sur des données réelles de tourniquet MTA, offrant une expérience d'apprentissage pratique.
• Approche axée sur le processus: implémentez l'ingénierie des données à l'aide d'une approche systématique et orientée vers le processus pour une meilleure clarté et efficacité.
• Implémentation étape par étape: Suivez le livre et les vidéos pour implémenter chaque composant de la solution.
• Gratuit et accessible: tirez parti des technologies cloud qui sont disponibles gratuitement, en vous assurant de recréer et d'étendre le projet sans barrières.

Écrit par Oscar Garcia

Twitter @ozkary

Utilisez ce Wiki du projet pour les informations d'installation et de configuration

Annonce et mises à jour

Rejoignez cette liste pour recevoir des mises à jour sur le nouveau contenu sur l'ingénierie des données Inscrivez-vous ici
Suivez-nous sur Twitter
Processus d'ingénierie des données série de blogs fondamentaux
Processus d'ingénierie des données Podcast vidéo YouTube fondamental
Processus d'ingénierie des données Livre fondamental sur Amazon

Processus d'ingénierie des données Fondamentaux: maîtriser les principes fondamentaux de l'ingénierie des données avec une approche pratique

Çons d'ingénierie des données étoiles mTA Turnique sur github!

Si vous trouvez ce projet utile, envisagez de lui donner un ️ sur GitHub! Votre soutien nous aide à grandir et à atteindre plus de développeurs.

Pourquoi jouer ce projet?

• Restez à jour avec les dernières fonctionnalités et améliorations.
• Montrez votre support pour le développement open-source.
• Aidez les autres à découvrir une ressource précieuse pour l'ingénierie des données.

Comment jouer ce projet

1. Visitez le référentiel GitHub de Data Engineering MTA Turnique.
2. Cliquez sur le bouton "étoile" dans le coin supérieur droit.

Merci pour votre soutien! ?

Déclaration de problème

Dans la ville de New York, les navetteurs utilisent le système de métro de la Metropolitan Transportation Authority (MTA) pour le transport. Il y a des millions de personnes qui utilisent ce système chaque jour; Par conséquent, les entreprises autour des stations de métro souhaitent être en mesure d'utiliser la publicité de géofension pour cibler ces navetteurs ou les consommateurs possibles et les attirer vers leurs emplacements commerciaux aux heures de pointe de la journée.

Le géofencing est un service technologique basé sur la localisation dans lequel le signal électronique des appareils mobiles est suivi lorsqu'il entre ou laisse une limite virtuelle (géo-clôture) sur un emplacement géographique. Les entreprises autour de ces emplacements souhaitent utiliser cette technologie pour augmenter leurs ventes.

Le système de métro MTA dispose de stations autour de la ville. Toutes les stations sont équipées de tourniquets ou de portes qui suit lorsque chaque personne entre ou quitte la station. MTA fournit ces informations dans les fichiers CSV, qui peuvent être importées dans un entrepôt de données pour permettre au processus analytique d'identifier les modèles qui peuvent permettre à ces entreprises de comprendre comment cibler les consommateurs.

Approche analytique

Critères de l'ensemble de données

Nous utilisons les données de tournique MTA pour 2023. À l'aide de ces données, nous pouvons étudier les critères suivants:

• Stations avec le nombre élevé de sorties par jour et heures
• Stations avec un nombre élevé d'entrées de jour et d'heures

Les sorties indiquent que les navetteurs arrivent à ces endroits. Les inscriptions indiquent que les navetteurs s'écartent de ces emplacements.

Critères d'analyse des données

Les données peuvent être regroupées en stations, à la date et à l'heure de la journée. Ces données sont auditées en blocs de quatre heures d'intervalle. Cela signifie qu'il y a des intervalles de 8h à 12h à l'exemple. Nous analysons les données dans ces intervalles de blocage temporel pour nous aider à identifier les meilleurs moments du matin et de l'après-midi pour chaque emplacement de la station. Cela devrait permettre aux entreprises de cibler une géo-clôture particulière proche de leur entreprise.

Résultats de l'analyse

https://lookerstudio.google.com/reporting/94749e6b-2a1f-4b41-aff6-35c6c33f401e

Conclusions d'analyse des données

En regardant le tableau de bord, les conclusions suivantes peuvent être observées:

• Les stations avec la distribution la plus élevée représentent l'emplacement le plus occupé
• Le créneau horaire le plus occupé pour les sorties et les entrées est les heures entre 16h et 21h
• Tous les jours de la semaine montrent un volume élevé de navetteurs

Avec ces observations, des plans peuvent être faits pour optimiser les campagnes de marketing et cibler les utilisateurs autour d'une zone de géo-clôture et des heures de la journée avec la proximité des emplacements commerciaux correspondants.

Architecture

Processus d'ingénierie des données

Ce projet a été exécuté après ce processus. Les détails de chacune de ces étapes peuvent être trouvés dans ces sous-répertoires de projet.

Remarque: suivez chaque lien pour plus de détails

• Découverte
  • Analyse des données
  • Définir la portée du travail
• Planification de conception et d'infrastructure
  • Comptes de disposition
  • Construire des infrastructures
• Implémentation d'orchestration
  • Blocs de code pour l'autorisation du code
  • Flux de travail d'ingestion de données
  • Déploiement et horaires
• Entrepôt de données et modélisation
  • Utilisez le lac Data comme source
  • Créer les modèles de données
  • Construisez les modèles incrémentiels pour l'ingestion de données continues
  • Tâches planifiées
• Analyse et visualisation des données
  • Identifier les dimensions et mesures pertinentes pour signaler
  • Identifier les filtres
  • Identifier les visualisations des distributions et des statistiques quotidiennes agrégées

Diagramme du processus d'assaut du cerveau

Technologies

Les technologies suivantes ont été utilisées pour ce projet:

• Github et Git
• Docker et Docker Hub
• Terraform
• Code Visual Studio
• Langue python
• SQL
• Jupyter Notes
• Google Cloud
  • VM, stockage, bigquery
• Cloud préfet (Automation du flux de travail)
• DBT Cloud (modélisation des données)