iceberg DOWNLOAD - iceberg Source Code Download

iceberg

Anderer Quellcode

Apache Iceberg 1.7.1

Herunterladen

Iceberg ist ein Hochleistungsformat für riesige analytische Tabellen. Iceberg bringt die Zuverlässigkeit und Einfachheit von SQL -Tabellen in Big Data ein und ermöglicht es den Motoren wie Spark, Trino, Flink, Presto, Hive und Impala, gleichzeitig mit denselben Tischen sicher mit denselben Tischen zu arbeiten.

Hintergrund und Dokumentation finden Sie unter https://iceberg.apache.org

Status

Iceberg wird bei der Apache Software Foundation aktiv entwickelt.

Die Eisberg -Formatspezifikation ist stabil und mit jeder Version werden neue Funktionen hinzugefügt.

Die Kern -Java -Bibliothek befindet sich in diesem Repository und ist die Referenzimplementierung für andere Bibliotheken.

Dokumentation ist für alle Bibliotheken und Integrationen verfügbar.

Zusammenarbeit

Iceberg verfolgt Probleme in Github und bevorzugt es, Beiträge als Pull -Anfragen zu erhalten.

Community -Diskussionen erfolgen vor allem in der Dev -Mailingliste oder zu bestimmten Themen.

Gebäude

Iceberg wird mit Gradle mit Java 11, 17 oder 21 gebaut.

Aufzusetzen eines Build- und Ausführungstests: ./gradlew build
Um Tests zu überspringen: ./gradlew build -x test -x integrationTest
Um den Code -Stil für ./gradlew spotlessApply zu beheben
Um den Code -Stil für alle Versionen von Spark/Hive/Flink zu ./gradlew spotlessApply -DallModules

Die Support der Eisberg -Tisch wird in Bibliotheksmodulen organisiert:

iceberg-common enthält Dienstprogrammklassen, die in anderen Modulen verwendet werden
iceberg-api enthält die öffentliche Eisberg-API
iceberg-core enthält Implementierungen der Eisberg-API und die Unterstützung von AVRO-Datendateien. Aus diesem Grund sollten Verarbeitungsmotoren abhängen
iceberg-parquet ist ein optionales Modul für die Arbeit mit Tabellen, die von Parquetendateien unterstützt werden
iceberg-arrow ist ein optionales Modul zum Lesen von Parquet in den Pfeilspeicher
iceberg-orc ist ein optionales Modul für die Arbeit mit Tabellen, die von ORC-Dateien unterstützt werden
iceberg-hive-metastore ist eine Implementierung von Eisberg-Tischen, die vom Hive Metastore-Sparsamkeits-Client unterstützt werden
iceberg-data ist ein optionales Modul für die Arbeit mit Tabellen direkt von JVM-Anwendungen

Iceberg hat auch Module zum Hinzufügen von Eisberg -Unterstützung für die Verarbeitung von Motoren:

iceberg-spark ist eine Implementierung der DataSource V2-API von Spark für Eisberg mit Submodules für jede Spark-Version (verwenden Sie Laufzeitgläser für eine schattige Version).
iceberg-flink enthält Klassen für die Integration in Apache Flink (verwenden Sie Iceberg-Flink-Runtime für eine schattierte Version).
iceberg-mr enthält einen InputFormat und andere Klassen für die Integration in Apache Hive

NOTIZ

Bei den Tests muss Docker ausgeführt werden. Auf macOS (mit Docker Desktop) müssen Sie möglicherweise einen symbolischen Namen für den Docker -Socket erstellen, um durch die Tests erkannt zu werden:

 sudo ln -s $HOME/.docker/run/docker.sock /var/run/docker.sock

Motorkompatibilität

In der Support-Seite mit mehreren Engine werden über die Kompatibilität der Eisberg-Kompatibilität mit unterschiedlichem Funken-, Flink- und Bienenstockversionen informiert. Für andere Motoren wie Presto oder Trino besuchen Sie bitte ihre Websites, um ICEBERG -Integrationsdetails zu erhalten.