Data Engineering MTA Turnstile Project에 오신 것을 환영합니다! 이 저장소는 실제 MTA 개찰구 데이터를 활용하여 실습 경험을 통해 데이터 엔지니어링 개념에 대한 포괄적 인 안내서를 제공합니다.
광범위한 책 : 데이터 엔지니어링 프로세스 기초. 이 세부 가이드를 사용하여 데이터 엔지니어링의 핵심 개념을 깊이 파악하십시오.
YouTube 동영상 : 각 단계와 개념을 자세히 설명하는 자세한 비디오 자습서를 따르십시오.
포괄적 인 코드베이스 : 코드베이스 기능 :
Oscar Garcia에 의해 작성되었습니다
트위터 @ozkary
설치 및 구성 정보를 위해이 프로젝트 Wiki를 사용하십시오
데이터 엔지니어링에 대한 새로운 컨텐츠에 대한 업데이트를 받으려면이 목록에 가입하십시오.
트위터에서 우리를 따르십시오
데이터 엔지니어링 프로세스 기본 블로그 시리즈
데이터 엔지니어링 프로세스 기본 YouTube 비디오 팟 캐스트
아마존의 데이터 엔지니어링 프로세스 기본 책
이 프로젝트가 유용하다고 생각되면 github에 닐을주는 것이 좋습니다! 귀하의 지원은 우리가 더 많은 개발자를 성장시키고 도달하는 데 도움이됩니다.
왜이 프로젝트를 별표로 시작합니까?
지원해 주셔서 감사합니다! ?
뉴욕시에서 통근자들은 교통을 위해 MTA (Metropolitan Transportation Authority) 지하철 시스템을 사용합니다. 이 시스템을 매일 사용하는 수백만 명의 사람들이 있습니다. 따라서 지하철역 주변의 비즈니스는 지오 펜싱 광고를 사용하여 통근자 또는 가능한 소비자를 대상으로하고 하루 중 최고 시간에 비즈니스 위치에 유치 할 수 있기를 원합니다.
Geofencing은 모바일 장치의 전자 신호가 지리적 위치에 가상 경계 (Geo-Fence)를 입력 할 때 추적되는 위치 기반 기술 서비스입니다. 해당 위치 주변의 기업은이 기술을 사용하여 판매를 늘리고 싶습니다.

MTA 지하철 시스템에는 도시 주변에 방송국이 있습니다. 모든 스테이션에는 각자가 역에 들어 오거나 떠날 때 추적하는 개찰구 나 문이 장착되어 있습니다. MTA는이 정보를 CSV 파일로 제공합니다.이 정보는 데이터웨어 하우스로 가져올 수 있으며 분석 프로세스를 통해 이러한 비즈니스가 소비자를 가장 잘 대상으로하는 방법을 이해할 수있는 패턴을 식별 할 수 있습니다.
우리는 2023 년에 MTA 개찰구 데이터를 사용하고 있습니다.이 데이터를 사용하면 다음 기준을 조사 할 수 있습니다.
출구는 통근자가 해당 위치에 도착하고 있음을 나타냅니다. 출품작은 통근자가 해당 위치에서 출발하고 있음을 나타냅니다.
데이터는 방송국, 날짜 및 시간으로 그룹화 할 수 있습니다. 이 데이터는 4 시간 간격으로 감사합니다. 이것은 예로 오전 8시에서 오후 12시 사이의 간격이 있음을 의미합니다. 우리는 데이터를 해당 시간 블록 간격으로 분석하여 각 스테이션 위치에 대해 아침과 오후에 가장 좋은 시간을 식별 할 수 있도록 도와줍니다. 이를 통해 비즈니스는 비즈니스에 가까운 특정 지리 펜스를 타겟팅 할 수 있습니다.

https://lookerstudio.google.com/reporting/94749e6b-2a1f-4b41-aff6-35c6c33f401e
대시 보드를 보면 다음과 같은 결론을 볼 수 있습니다.
이러한 관찰을 통해 마케팅 캠페인을 최적화하고 해당 비즈니스 위치에 근접하여 지리 펜스 영역과 하루의 시간을 대상으로하는 계획을 세울 수 있습니다.

이 프로젝트는이 과정에 따라 실행되었습니다. 이 각 단계에 대한 세부 사항은이 프로젝트 하위 디렉토리에서 찾을 수 있습니다.
참고 : 자세한 내용은 각 링크를 따르십시오

이 프로젝트에는 다음과 같은 기술이 사용되었습니다.