iceberg

Iceberg adalah format kinerja tinggi untuk tabel analitik besar. Iceberg membawa keandalan dan kesederhanaan tabel SQL ke data besar, sambil memungkinkan mesin seperti Spark, Trino, Flink, Presto, Hive dan Impala untuk bekerja dengan aman dengan tabel yang sama, pada saat yang sama.

Latar Belakang dan Dokumentasi tersedia di https://iceberg.apache.org

Status

Iceberg sedang dalam pengembangan aktif di Apache Software Foundation.

Spesifikasi format gunung es stabil dan fitur baru ditambahkan dengan setiap versi.

Perpustakaan Java inti terletak di repositori ini dan merupakan implementasi referensi untuk perpustakaan lain.

Dokumentasi tersedia untuk semua perpustakaan dan integrasi.

Kolaborasi

Iceberg melacak masalah di GitHub dan lebih suka menerima kontribusi sebagai permintaan tarik.

Diskusi masyarakat terjadi terutama di milis dev atau pada masalah tertentu.

Bangunan

Iceberg dibangun menggunakan Gradle dengan Java 11, 17, atau 21.

• Untuk memohon tes build and run: ./gradlew build
• Untuk melewatkan tes: ./gradlew build -x test -x integrationTest
• Untuk memperbaiki gaya kode untuk versi default: ./gradlew spotlessApply
• Untuk memperbaiki gaya kode untuk semua versi spark/hive/flink: ./gradlew spotlessApply -DallModules

Dukungan meja gunung es diselenggarakan dalam modul perpustakaan:

• iceberg-common berisi kelas utilitas yang digunakan dalam modul lain
• iceberg-api berisi API Iceberg Publik
• iceberg-core berisi implementasi Iceberg API dan dukungan untuk file data AVRO, inilah yang harus diandalkan oleh mesin pemrosesan
• iceberg-parquet adalah modul opsional untuk bekerja dengan tabel yang didukung oleh file parket
• iceberg-arrow adalah modul opsional untuk membaca parket ke dalam memori panah
• iceberg-orc adalah modul opsional untuk bekerja dengan tabel yang didukung oleh file orc
• iceberg-hive-metastore adalah implementasi meja gunung es yang didukung oleh klien hive hive metastore
• iceberg-data adalah modul opsional untuk bekerja dengan tabel langsung dari aplikasi JVM

Iceberg juga memiliki modul untuk menambahkan dukungan gunung es ke mesin pemrosesan:

• iceberg-spark adalah implementasi dari DataSource V2 API Spark untuk Iceberg dengan submodul untuk setiap versi Spark (gunakan stoples runtime untuk versi yang diarsir)
• iceberg-flink berisi kelas untuk mengintegrasikan dengan Apache Flink (gunakan Iceberg-Flink-Runtime untuk versi yang diarsir)
• iceberg-mr berisi inputformat dan kelas lain untuk berintegrasi dengan Apache Hive

---

CATATAN

Tes membutuhkan Docker untuk dieksekusi. Pada macOS (dengan Docker Desktop), Anda mungkin perlu membuat nama simbolis ke soket Docker untuk dideteksi oleh tes:

 sudo ln -s $HOME/.docker/run/docker.sock /var/run/docker.sock

---

Kompatibilitas mesin

Lihat halaman dukungan multi-mesin untuk mengetahui tentang kompatibilitas gunung es dengan berbagai versi percikan, flink dan sarang. Untuk mesin lain seperti Presto atau Trino, silakan kunjungi situs web mereka untuk detail integrasi gunung es.

Implementasi

Repositori ini berisi implementasi gunung es Java. Implementasi lain dapat ditemukan di:

• Go : Iceberg-Go
• Pyiceberg (Python): Iceberg-Python
• Rust : Iceberg-Rust