iceberg

Icebergは、巨大な分析テーブルの高性能形式です。 IcebergはSQLテーブルの信頼性とシンプルさをビッグデータにもたらし、Spark、Trino、Flink、Presto、Hive、Impalaなどのエンジンが同時に同じテーブルで安全に動作することを可能にします。

背景とドキュメントはhttps://iceberg.apache.orgで入手できます

状態

Icebergは、Apache Software Foundationで積極的に開発されています。

Iceberg形式の仕様は安定しており、各バージョンで新機能が追加されています。

コアJavaライブラリはこのリポジトリにあり、他のライブラリの参照実装です。

すべてのライブラリと統合にはドキュメントが利用できます。

コラボレーション

IcebergはGithubの問題を追跡し、プルリクエストとしての寄付を受けることを好みます。

コミュニティの議論は、主に開発者のメーリングリストまたは特定の問題で行われます。

建物

Icebergは、Java 11、17、または21のGradleを使用して建設されています。

• ビルドと実行テストを呼び出すには： ./gradlew build
• テストをスキップするには： ./gradlew build -x test -x integrationTest
• デフォルトのバージョンのコードスタイルを修正するには： ./gradlew spotlessApply
• Spark/Hive/Flinkのすべてのバージョンのコードスタイルを修正するには： ./gradlew spotlessApply -DallModules

Iceberg Tableサポートは、ライブラリモジュールで編成されています。

• iceberg-commonには、他のモジュールで使用されるユーティリティクラスが含まれています
• iceberg-apiには、パブリックアイスバーグAPIが含まれています
• iceberg-coreには、Iceberg APIの実装とAvroデータファイルのサポートが含まれています。これは、処理エンジンが依存すべきものです
• iceberg-parquet Parquetファイルに裏打ちされたテーブルを使用するためのオプションのモジュールです
• iceberg-arrowは、Parquetを矢印のメモリに読むためのオプションのモジュールです
• iceberg-orc ORCファイルに裏打ちされたテーブルを使用するためのオプションのモジュールです
• iceberg-hive-metastore Hive Metastore Thriftクライアントに支えられたアイスバーグテーブルの実装です
• iceberg-data JVMアプリケーションから直接テーブルを操作するためのオプションのモジュールです

Icebergには、加工エンジンに氷山サポートを追加するためのモジュールもあります。

• iceberg-sparkは、SparkのDataSource v2 APIの実装であり、各Sparkバージョンにサブモジュールを備えたIceberg用のAPIです（日陰のバージョンにはランタイムジャーを使用）
• iceberg-flinkには、Apache Flinkと統合するためのクラスが含まれています（日陰のバージョンにはIceberg-Flink-Runtimeを使用）
• iceberg-mrには、Apache Hiveと統合するための入力フォーマットおよびその他のクラスが含まれています

---

注記

テストでは、Dockerを実行する必要があります。 MacOS（Dockerデスクトップ付き）では、テストで検出するために、Dockerソケットにシンボリック名を作成する必要がある場合があります。

 sudo ln -s $HOME/.docker/run/docker.sock /var/run/docker.sock

---

エンジンの互換性

さまざまなSpark、Flink、HiveバージョンとのIcebergの互換性について知るために、マルチエンジンサポートページを参照してください。 PrestoやTrinoなどの他のエンジンについては、Iceberg Integrationの詳細については、Webサイトにアクセスしてください。

実装

このリポジトリには、IcebergのJava実装が含まれています。その他の実装は、次のように見つけることができます。

• Go ：Iceberg-go
• Pyiceberg （Python）：Iceberg-Python
• 錆：氷山のurt