data engineering mta turnstile

Introdução aos fundamentos do processo de engenharia de dados

Bem -vindo ao projeto de torneira MTA de engenharia de dados! Esse repositório aproveita os dados de torneiras MTA do mundo real, oferecendo um guia abrangente para conceitos de engenharia de dados por meio de experiência prática.

O que está dentro?

• Livro extenso: Fundamentos do processo de engenharia de dados. Mergulhe profundamente nos conceitos principais de engenharia de dados com este guia detalhado.

• Vídeos do YouTube: Siga junto com tutoriais de vídeo detalhados que explicam cada etapa e conceito em detalhes.

• Base de código abrangente: nossos recursos de base de código:

  • Python: scripts principais e processamento de dados.
  • Notebooks Jupyter: Exploração e visualização de dados interativos.
  • SQL: consultas e transformações do banco de dados.
  • Looker Studio: Analytics e relatórios avançados.
  • Cloud Data Lake: armazenamento de dados eficiente e escalável.
  • Data Warehouse: Gerenciamento de dados estruturado.
  • Outras tecnologias em nuvem: utilize várias ferramentas baseadas em nuvem para implementar sua solução passo a passo.

Por que usar este repositório?

• Aplicação do mundo real: com base em dados de torneira MTA reais, proporcionando uma experiência prática de aprendizado.
• Abordagem orientada ao processo: implemente engenharia de dados usando uma abordagem sistemática e orientada ao processo para obter melhor clareza e eficiência.
• Implementação passo a passo: siga o livro e os vídeos para implementar cada componente da solução.
• GRATUITO E ACESSIVIL: Aproveite as tecnologias em nuvem que estão disponíveis gratuitamente, garantindo que você possa recriar e estender o projeto sem barreiras.

Escrito por Oscar Garcia

Twitter @ozkary

Use este Wiki do projeto para informações de instalação e configuração

Anúncio e atualizações

Junte -se a esta lista para receber atualizações sobre novo conteúdo sobre a engenharia de dados se inscrever aqui
Siga -nos no Twitter
Processo de engenharia de dados Série de blogs fundamentais
Processo de Engenharia de Dados Fundamental Vídeo do YouTube Podcast
Livro fundamental do processo de engenharia de dados na Amazon

Fundamentos do processo de engenharia de dados: dominar os fundamentos da engenharia de dados com uma abordagem prática

️ Engenharia de dados da estrela MTA Turnstile no Github!

Se você achar esse projeto útil, considere dar -lhe umri no Github! Seu apoio nos ajuda a crescer e alcançar mais desenvolvedores.

Por que estrelar este projeto?

• Mantenha -se atualizado com os recursos e melhorias mais recentes.
• Mostre seu apoio ao desenvolvimento de código aberto.
• Ajude outras pessoas a descobrir um recurso valioso para a engenharia de dados.

Como estrelar este projeto

1. Visite o repositório Github de engenharia de dados MTA.
2. Clique no botão "Star" no canto superior direito.

Obrigado pelo seu apoio! ?

Declaração de problemas

Na cidade de Nova York, os passageiros usam o sistema de metrô Metropolitan Transportation Authority (MTA) para transporte. Existem milhões de pessoas que usam esse sistema todos os dias; Portanto, as empresas ao redor das estações de metrô gostariam de usar o anúncio de geofencing para atingir esses passageiros ou possíveis consumidores e atraí -los para seus locais de negócios nos horários de pico do dia.

A geofencing é um serviço de tecnologia baseado em localização no qual o sinal eletrônico dos dispositivos móveis é rastreado à medida que entra ou deixa um limite virtual (geo-bência) em uma localização geográfica. As empresas em torno desses locais gostariam de usar essa tecnologia para aumentar suas vendas.

O sistema de metrô MTA possui estações em torno da cidade. Todas as estações estão equipadas com catracas ou portões que rastreiam quando cada pessoa entra ou sai da estação. O MTA fornece essas informações nos arquivos CSV, que podem ser importados para um data warehouse para permitir que o processo analítico identifique padrões que possam permitir que essas empresas entendam como melhor segmentar os consumidores.

Abordagem analítica

Critérios de dados

Estamos usando os dados de torneira MTA para 2023. Usando esses dados, podemos investigar os seguintes critérios:

• Estações com o alto número de saídas por dia e horas
• Estações com alto número de entradas a dia e horas

As saídas indicam que os passageiros estão chegando a esses locais. As entradas indicam que os passageiros estão se afastando desses locais.

Critérios de análise de dados

Os dados podem ser agrupados em estações, data e hora do dia. Esses dados são auditados em blocos de quatro horas de intervalo. Isso significa que existem intervalos das 8h às 12h como exemplo. Analisamos os dados nesses intervalos de bloqueio de tempo para nos ajudar a identificar os melhores momentos de manhã e tarde para cada local da estação. Isso deve permitir que as empresas tenham como alvo uma cerca geográfica específica que está próxima de seus negócios.

Resultados da análise

https://lookerstudio.google.com/reporting/94749e6b-2a1f-4b41-aff6-35c6c33f401e

Conclusões de análise de dados

Observando o painel, as seguintes conclusões podem ser observadas:

• As estações com a distribuição mais alta representam o local mais movimentado
• O horário mais movimentado para saídas e entradas é as horas entre as 16h e as 21h
• Todos os dias da semana mostram um alto volume de passageiros

Com essas observações, podem ser feitos planos para otimizar as campanhas de marketing e os usuários-alvo em torno de uma área geográfica e horas do dia com proximidade com os locais de negócios correspondentes.

Arquitetura

Processo de engenharia de dados

Este projeto foi executado após esse processo. Os detalhes para cada uma dessas etapas podem ser encontrados neste subdiretório do projeto.

Nota: Siga cada link para mais detalhes

• Descoberta
  • Análise de dados
  • Defina o escopo do trabalho
• Planejamento de design e infraestrutura
  • Contas de provisão
  • Construir infraestrutura
• Implementação de orquestração
  • Blocos de código para autorização do código
  • Fluxos de trabalho de ingestão de dados
  • Implantação e horários
• Data Warehouse e modelagem
  • Use o Data Lake como fonte
  • Construir os modelos de dados
  • Construir os modelos incrementais para ingestão de dados contínuos
  • Tarefas programadas
• Análise e visualização de dados
  • Identificar as dimensões e medidas relevantes para relatar
  • Identificar os filtros
  • Identifique as visualizações para distribuições e estatísticas diárias agregadas

Diagrama do processo de invadição do cérebro

Tecnologias

As seguintes tecnologias foram usadas para este projeto:

• Github e Git
• Docker e Docker Hub
• Terraform
• Código do Visual Studio
• Idioma python
• SQL
• Notas de Jupyter
• Google Cloud
  • VM, armazenamento, BigQuery
• Cloud prefeito (Automação do fluxo de trabalho)
• DBT Cloud (modelagem de dados)