Скачать iceberg - Скачать исходный код iceberg

iceberg

Другой исходный код

Apache Iceberg 1.7.1

Скачать

Айсберг является высокопроизводительным форматом для огромных аналитических таблиц. Айсберг привносит надежность и простоту таблиц SQL в большие данные, в то же время позволяя таким двигателям, как Spark, Trino, Flink, Presto, Hive и Impala, чтобы безопасно работать с теми же таблицами, одновременно.

Фон и документация доступны по адресу https://iceberg.apache.org

Статус

Айсберг находится в активной разработке в Apache Software Foundation.

Спецификация формата айсберга является стабильной, и с каждой версией добавляются новые функции.

Основная библиотека Java находится в этом хранилище и является эталонной реализацией для других библиотек.

Документация доступна для всех библиотек и интеграций.

Сотрудничество

Айсберг отслеживает проблемы в GitHub и предпочитает получать взносы в качестве запросов на притяжение.

Общественные обсуждения происходят в основном в списке рассылки DEV или по конкретным вопросам.

Здание

Айсберг построен с использованием Gradle с Java 11, 17 или 21.

Чтобы вызвать тесты на сборку и запустить: ./gradlew build
Чтобы пропустить тесты: ./gradlew build -x test -x integrationTest
Чтобы исправить стиль кода для версий по умолчанию: ./gradlew spotlessApply
Чтобы исправить стиль кода для всех версий Spark/Hive/Flink: ./gradlew spotlessApply -DallModules

Поддержка таблицы айсберга организована в библиотечных модулях:

iceberg-common содержит полезные классы, используемые в других модулях
iceberg-api содержит общественный айсбергский API
iceberg-core содержит реализации API айсберга и поддержку файлов данных AVRO, это то, на что должны зависеть обработка двигателей
iceberg-parquet -это дополнительный модуль для работы с таблицами, поддерживаемыми Parquet Files
iceberg-arrow является дополнительным модулем для чтения паркета в память стрелки
iceberg-orc -это дополнительный модуль для работы с таблицами, поддерживаемыми файлами ORC
iceberg-hive-metastore -это реализация таблиц айсберг
iceberg-data является дополнительным модулем для работы с таблицами непосредственно из приложений JVM

Айсберг также имеет модули для добавления поддержки айсберга в переработкие двигатели:

iceberg-spark -это реализация API DataSource V2 DataSource V2 Spark для айсберга с подмодулями для каждой версии Spark (используйте банки во время выполнения для затененной версии)
iceberg-flink содержит классы для интеграции с Apache Flink (используйте Aceberg-Flink-Time для заштрихованной версии)
iceberg-mr содержит входные и другие классы для интеграции с Apache Hive

ПРИМЕЧАНИЕ

Тесты требуют выполнения Docker. На MacOS (с настольным компьютером Docker) вам может потребоваться создать символическое название в розетке Docker, чтобы быть обнаруженным тестами:

 sudo ln -s $HOME/.docker/run/docker.sock /var/run/docker.sock

Совместимость двигателя

Посмотрите на страницу поддержки с несколькими двигателями, чтобы узнать о совместимости айсберга с различными версиями Spark, Flink и Hive. Для других двигателей, таких как Presto или Trino, посетите их веб -сайты для деталей интеграции айсберга.