data engineering mta turnstile

Einführung in die Grundlagen des Datenentwicklungsprozesses

Willkommen beim Daten für das Data Engineering MTA TurnStile Project! Dieses Repository nutzt die reale MTA-Drehdaten für MTA und bietet einen umfassenden Leitfaden für Daten technische Konzepte durch praktische Erfahrungen.

Was ist drin?

• Umfangreiches Buch: Fundamentaldaten für Dateningenieurwesen. Tauchen Sie mit diesem detaillierten Leitfaden tief in die Kernkonzepte des Daten Engineering ein.

• YouTube -Videos: Folgen Sie detaillierten Video -Tutorials, die jeden Schritt und jeden Konzept im Detail erläutern.

• Umfassende Codebasis: Unsere Codebasisfunktionen:

  • Python: Kernskripte und Datenverarbeitung.
  • Jupyter -Notizbücher: Interaktive Datenerforschung und Visualisierung.
  • SQL: Datenbankabfragen und Transformationen.
  • Looker Studio: Advanced Analytics und Berichterstattung.
  • Cloud Data Lake: Effiziente und skalierbare Datenspeicherung.
  • Data Warehouse: Strukturiertes Datenmanagement.
  • Weitere Cloud-Technologien: Verwenden Sie verschiedene Cloud-basierte Tools, um Ihre Lösung Schritt für Schritt zu implementieren.

Warum dieses Repository verwenden?

• Reale Anwendung: Basierend auf den tatsächlichen MTA-Drehstildaten liefert eine praktische Lernerfahrung.
• Prozessorientierter Ansatz: Implementieren Sie Daten Engineering mit einem systematischen, prozessorientierten Ansatz für bessere Klarheit und Effizienz.
• Schritt-für-Schritt-Implementierung: Folgen Sie dem Buch und den Videos, um jede Komponente der Lösung zu implementieren.
• Kostenlos und zugänglich: Nutzen Sie Cloud -Technologien, die frei verfügbar sind, und stellen Sie sicher, dass Sie das Projekt ohne Hindernisse neu erstellen und erweitern können.

Geschrieben von Oscar Garcia

Twitter @ozkary

Verwenden Sie dieses Projekt -Wiki für Installations- und Konfigurationsinformationen

Ankündigung und Updates

Schließen Sie sich dieser Liste an, um Aktualisierungen zu neuen Inhalten zur Anmeldung von Data Engineering hier zu erhalten
Folgen Sie uns auf Twitter
Data Engineering Process Fundamental Blog -Serie
Data Engineering Process Fundamental YouTube Video Podcast
Data Engineering Process Fundamental Book auf Amazon

Fundamentaldaten des Data Engineering Process: Beherrschen Sie die Grundlagen des Datentechnik mit einem praktischen Ansatz

️ STAR Data Engineering MTA Drehdruck auf GitHub!

Wenn Sie dieses Projekt nützlich finden, sollten Sie es auf GitHub ein ️ erhalten! Ihre Unterstützung hilft uns, zu wachsen und mehr Entwickler zu erreichen.

Warum dieses Projekt auftreten?

• Bleiben Sie mit den neuesten Funktionen und Verbesserungen auf dem Laufenden.
• Zeigen Sie Ihre Unterstützung für die Open-Source-Entwicklung.
• Helfen Sie anderen, eine wertvolle Ressource für das Datentechnik zu entdecken.

Wie man dieses Projekt spielt

1. Besuchen Sie das Data Engineering MTA TurnStile Github Repository.
2. Klicken Sie in der oberen rechten Ecke auf die Schaltfläche "Stern".

Vielen Dank für Ihre Unterstützung! ?

Problemanweisung

In der Stadt New York nutzen Pendler das U -Bahn -System der Metropolitan Transportation Authority (MTA) für den Transport. Es gibt Millionen von Menschen, die dieses System jeden Tag nutzen. Daher möchten Unternehmen in der Nähe der U -Bahn -Stationen in der Lage sein, Geofencing -Werbung zu nutzen, um diese Pendler oder mögliche Verbraucher anzumachen und sie zu Spitzenzeiten des Tages an ihren Geschäftsstandorten zu gewinnen.

Geofencing ist ein standortbasierter technologischer Service, bei dem das elektronische Signal von Mobilgeräten verfolgt wird, wenn es ein virtuelles Grenze (Geo-Zaun) an einem geografischen Ort eingeht. Unternehmen an diesen Standorten möchten diese Technologie nutzen, um ihren Umsatz zu steigern.

Das MTA -U -Bahn -System verfügt über Stationen in der Stadt. Alle Stationen sind mit Drehstilen oder Toren ausgestattet, die sich verfolgen, wenn jede Person die Station betritt oder verlässt. MTA liefert diese Informationen in CSV -Dateien, die in ein Data Warehouse importiert werden können, damit der analytische Prozess Muster identifizieren kann, mit denen diese Unternehmen verstehen können, wie die Verbraucher am besten abzielen können.

Analytischer Ansatz

Datensatzkriterien

Wir verwenden die MTA TurnStile -Daten für 2023. Verwenden dieser Daten können wir die folgenden Kriterien untersuchen:

• Stationen mit der hohen Anzahl von Ausgängen bei Tag und Stunden
• Stationen mit hoher Anzahl von Einträgen bei Tag und Stunden

Ausgänge geben an, dass Pendler an diesen Standorten ankommen. Einträge zeigen, dass Pendler von diesen Standorten abreisen.

Datenanalysekriterien

Die Daten können in Stationen, Datum und Uhrzeit zusammengefasst werden. Diese Daten werden in Abstand von vier Stunden in Blöcken geprüft. Dies bedeutet, dass es als Beispiel Intervalle von 8 bis 12 Uhr gibt. Wir analysieren die Daten in diese Zeitblockintervalle, um uns die besten Zeiten sowohl morgens als auch am Nachmittag für jeden Standort zu ermitteln. Dies sollte es Unternehmen ermöglichen, auf einen bestimmten Geo-Zaun abzuzielen, der in der Nähe ihres Geschäfts liegt.

Analyseergebnisse

https://lookerstudio.google.com/reporting/94749e6b-2a1f-4b41-af6-35c6c33f401e

Datenanalyse Schlussfolgerungen

Wenn Sie sich das Dashboard ansehen, können die folgenden Schlussfolgerungen beobachtet werden:

• Die Stationen mit der höchsten Verbreitung repräsentieren die am stärksten geschäftigste Lage
• Der geschäftigste Zeitfenster für Ausgänge und Einträge ist die Stunden zwischen 16 und 21 Uhr
• Alle Tage der Woche zeigen ein hohes Volumen an Pendlern

Mit diesen Beobachtungen können Pläne erstellt werden, die Marketingkampagnen zu optimieren und Benutzer in einem Geo-Zeitbereich und Stunden des Tages mit der Nähe zu den entsprechenden Geschäftsstandorten zu zielen.

Architektur

Daten Engineering -Prozess

Dieses Projekt wurde nach diesem Prozess ausgeführt. Die Details für jede dieser Schritte finden Sie in diesem Projekt -Unterverzeichnis.

Hinweis: Befolgen Sie jeden Link für weitere Details

• Entdeckung
  • Datenanalyse
  • Arbeitsumfang definieren
• Design- und Infrastrukturplanung
  • Beratungskonten
  • Infrastruktur bauen
• Implementierung von Orchestrierung
  • Codeblöcke zur Genehmigung des Code
  • Datenaufnahme -Workflows
  • Bereitstellung und Zeitpläne
• Data Warehouse und Modellierung
  • Verwenden Sie den Data Lake als Quelle
  • Erstellen Sie die Datenmodelle
  • Erstellen Sie die inkrementellen Modelle für die kontinuierliche Datenaufnahme
  • Geplante Aufgaben
• Datenanalyse und Visualisierung
  • Identifizieren Sie die relevanten Dimensionen und Maßnahmen, über die sie berichten sollen
  • Identifizieren Sie die Filter
  • Identifizieren Sie die Visualisierungen für Verteilungen und aggregierte tägliche Statistiken

Hirnstürmingprozessdiagramm

Technologien

Für dieses Projekt wurden folgende Technologien verwendet:

• Github und Git
• Docker und Docker Hub
• Terraform
• Visual Studio -Code
• Python -Sprache
• Sql
• Jupyter Notizen
• Google Cloud
  • VM, Speicher, BigQuery
• Präfekten Cloud (Workflow Automation)
• DBT Cloud (Datenmodellierung)