Das Data Engineering Handbuch
Dieses Repo verfügt über alle Ressourcen, die Sie benötigen, um ein erstaunlicher Dateningenieur zu werden!
Erste Schritte
Wenn Sie neu in der Data Engineering sind, folgen Sie mit diesem 2024 in die Data Engineering Roadmap eindringliche 2024
Wenn Sie für das 6-wöchige kostenlose YouTube-Bootcamp hier sind, können Sie sich ansehen
- Einführung
- Software benötigt
Für mehr angewandte Lernen:
- Weitere praktische Beispiele finden Sie im Abschnitt "Projekte"!
- Weitere Informationen zum Übergeben von Daten Engineering -Interviews finden Sie im Abschnitt Interviews!
- In den Abschnitt Bücher finden Sie eine Liste hochwertiger Datenentwicklungsbücher mit hochwertigen Datenentwicklungsbüchern
- Schauen Sie sich den Abschnitt der Communities an, um eine Liste hochwertiger Datenentwicklungsgemeinschaften in der Lage zu haben, sich beizumachen
- Schauen Sie sich den Newsletter -Bereich an, um per E -Mail zu lernen
Ressourcen
Tolle Liste von über 25 Büchern
Top 3 müssen Bücher lesen, sind:
- Grundlagen des Datentechnik
- Entwerfen von datenintensiven Anwendungen
- Entwerfen von maschinellem Lernsystemen
Tolle Liste von über 10 Gemeinden zum Beitritt:
Top Must-Join Communities für DE:
- Eczachly Data Engineering Discord
- Data Talks Club Slack
- Data Engineer Things Community
Top Must-Join Communities für ML:
- Adalflow Discord
- Chip Huyen Mlops Discord
Unternehmen:
- Orchestrierung
- Magier
- Astronom
- Präfekt
- Dagster
- Luftstrom
- Kestra
- Werft
- Hamilton
- Data Lake / Cloud
- Tabellarisch
- Microsoft
- Datenbank
- OneHouse
- Delta Lake
- Data Warehouse
- Schneeflocke
- Feuerschrank
- Datenqualität
- DBT
- Giebel
- Große Erwartungen
- Streamdal
- Verschmelzen
- Soda
- DQOPs
- Hedda.io
- Bildungsunternehmen
- DataExpert.io
- LearnDataEngineering.com
- Algoexpert
- Bytebytego
- Analyse / Visualisierung
- Voreinstellung
- Starburst
- Metabase
- Looker Studio
- Tableau
- Power Bi
- Apache Superset
- Beweis
- Datenintegration
- Würfel
- Fickran
- Airbyte
- DLT
- Schlinge
- Meltano
- Moderne OLAP
- Apache Druid
- Klicken Sie auf
- Apache Pinot
- Apache Kylin
- Duckdb
- Questdb
- LLM -Anwendungsbibliothek
- Adalflow
- Langchain
- Llamaindex
- Echtzeitdaten
- Aggregationen.io
- Reaktionsschnell
- Risingwave
- Striim
Data Engineering Blogs von Unternehmen:
- Netflix
- Uber
- Datenbank
- Airbnb
- Amazon AWS -Blog
- Microsoft Data Architecture Blogs
- Microsoft Fabric Blog
- Orakel
- Meta
- OneHouse
Data Engineering Whitepapers:
- Eine fünfschichtige Business Intelligence Architecture
- Lakehouse: Eine neue Generation offener Plattformen, die Data Warehousing und Advanced Analytics vereinheitlichen
- Big Data Quality: Ein Modell zur Datenqualitätsprofilerstellungsmodell
- Das Data Lakehouse: Data Warehousing und mehr
- Spark: Cluster Computing mit Arbeitssätzen
- Das Google -Dateisystem
- Aufbau eines universellen Daten -Lakehouse
- Xtable in Aktion: nahtlose Interoperabilität in Datenseen
- MapReduce: Vereinfachte Datenverarbeitung bei großen Clustern
Social Media -Konten
Hier ist die meist umfassende Liste der Ersteller von Data Engineering: (Sie müssen mindestens 5 -km -Follower irgendwo hinzufügen!)
| Name |
YouTube |
LinkedIn |
X/Twitter |
Instagram |
Tiktok |
|---|
| Zach Wilson | Daten mit Zach (70k+) | Zach Wilson (400k+) | Eczachly (30k+) | Eczachly (150k+) | @eczachly (70k+) |
| Shashank Mishra | E-Learning Bridge (100k+) | Shashank Mishra (100k+) | | | |
| Seattle Data Guy | Seattle Data Guy (100k+) | Ben Rogojan (100k+) | Seattledataguy (10k+) | | |
| Trendytech | Trendytech (100k+) | Sumit Mittal (100k+) | | | |
| Darshil Parmar | Darshil Parmar (100k+) | Darshil Parmar (100k+) | | | |
| Andreas Kretz | Andreas Kretz (100k+) | Andreas Kretz (100k+) | | LearnDataEngineering (5k+) | |
| Bytebytego | Bytebytego (1m+) | Alex Xu (100k+) | Alexxubyte (100k+) | | |
| Die Ravit -Show | Die Ravit -Show (100k+) | | | | |
| Mann in einem Würfel | Mann in einem Würfel (100k+) | | | | |
| Adam Marczak | Adam Marczak (100k+) | | | | |
| Nullquerien | Nullquerien (100k+) | | | | |
| TechTfq von thoufiq | TechTfq von thoufiq (100k+) | | | | |
| SQLBI | SQLBI (100K+) | Marco Russo (50k+) | Marcorus (10k+) | | |
| Azure lib | Azure lib (10k+) | Deepak Goyal (100k+) | | | |
| Förderung der Analyse | Fortschrittsanalyse (10k+) | Simon Whiteley (10k+) | | | |
| Kahan Data Solutions | Kahan Data Solutions (10k+) | | | | |
| Ankit Bansal | Ankit Bansal (10k+) | Ankit Bansal (50k+) | | | |
| Mr. K spricht Technik | Herr K spricht Tech (10k+) | | | | |
| Li Yin | | Li Yin (10k+) | | | |
| Jaco van Gelder | | Jaco van Gelder (10k+) | | | |
| Joseph Machado | | Joseph Machado (10k+) | startDataeng (5k+) | | |
| Eric Roby | | Eric Roby (10k+) | | | |
| Simon Späti | | Simon Späti (10k+) | | | |
| Dipankar Mazumdar | | Dipankar Mazumdar (5k+) | | | |
| Daniel Ciocirlan | | Daniel Ciocirlan (5k+) | | | |
| Hugo Lu | | Hugo Lu (5k+) | | | |
| Tobias Macey | | Tobias Macey (5k+) | | | |
| Marcos Ortiz | | Marcos Ortiz (5k+) | | | |
| Julien Hurault | | Julien Hurault (5k+) | | | |
| Alex Freberg | Alex der Analyst (100k+) | Alex Freberg (100k+) | | | @ALEX_THE_ANALALYST (10K+) |
| Marc Lamberti | | Marc Lamberti (50k+) | | | |
| Chip Huyen | | Chip Huyen (250k+) | | | |
| Alex Merced | Alex Merced Data | Alex Merced (30k+) | @amdatalakehouse | @alexmercedCoder | |
| John Kutay | John Kutay | John Kutay (5k+) | @Johnkutay | | |
| Lakshmi Sontenam | | Lakshmi Sontenam (9,5K+) | | | |
| Hassaan Akbar | | Hassaan Akbar (5k+) | | | |
| Samuel Focht | Python -Grundlagen (10k+) | | | | |
| Konstantin Lungu | | Konstantin Lungu (10k+) | | | |
| Ijaz Ali | | Ijaz Ali (24k+) | | | |
| Subhankar | | Subhankar (5k+) | | | |
| Ankur Ranjan | Big Data zeigen (100k+) | Ankur Ranjan (48K+) | | | |
| Lenny | | Lenny A (6k+) | | | |
| Mehdi Ouazza | Mehdio DataTV (3k+) | Mehdi Ouazza (20k+) | MEHD_IO | | @mehdio_datatv |
| Itversity | Itversity (67K+) | Durga Gadiraju (48K+) | | | |
Tolle Podcasts
- Die Data Engineering Show
- Data Engineering Podcast
- DataTopics
- Die Daten technische Seite der Daten
- Dataware
- Der Data Coffee Break -Podcast
- Die DataStack -Show
- Intricity101 Data Sharks Podcast
- Bohrer mit Mark Rittman zum Detail
- Analytics Power Hour
- Katalog & Cocktails
- Datenatalks
- Data Brew von Databricks
- Der Data Cloud -Podcast von Snowflake
- Was ist neu in Daten
- Öffnen || Quelle || Daten nach DataStax
- Streaming Audio von Confluent
- Der Datenwissenschaftler zeigt
- Mlops.Community
- Montagmorgen Data Chat
- Der Datenchef
Tolle Liste von mehr als 20 Newslettern
TOP muss Newsletter für das Data Engineering folgen:
- DataEngineer.io Newsletter
- Joe Reis
- Data Engineering starten
- Data Engineering Weekly
Glossare:
- Data Engineering Vault
- AirByte Data Glossar
- Data Engineering Wiki von Reddit
- Seconda Glossar
- Glossar -Datenbanken
- Lufttable Glossar
- Data Engineering Glossar von Dagster
Entwurfsmuster
- Kumulatives Tischdesign
- Mikrobatch -Deduplizierung
- Das kleine Buch der Pipelines
- Datenentwicklerplattform
Kurse / Akademien
- DataExpert.io Kurs Verwenden Sie Code Handbook10 für einen Rabatt!
- LearnDataEngineering.com
- Technische Freiberufler Akademie Verwenden Sie Code Zwtech für einen Rabatt!
- IBM Data Engineering für alle
- Qwiklabs
- DataCamp
- Udemy -Kurse aus Shruti Mantri
- Rock the JVM lehrt Spark (in Scala), Flink und andere
- Data Engineering Zoomcamp von DataLKSClub
- Effiziente Datenverarbeitung in Spark
- Scaler
- DataTeams - Data Enginger -Einstellungsplattform
- Udemy -Kurse von Daniel Blanco
Zertifizierungskurse
- Google Cloud zertifiziert - professioneller Dateningenieur
- Databricks - Certified Associate Developer für Apache Spark
- Databricks - Data Engineer Associate
- Databricks - Dateningenieur Profi
- Prüfung DP-203: Daten Engineering auf Microsoft Azure
- Microsoft Fabric Analytics Engineer Associate
- AWS -zertifizierter Dateningenieur - Associate
