الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

Iceberg هو تنسيق عالي الأداء للجداول التحليلية الضخمة. يجلب Iceberg موثوقية وبساطة جداول SQL إلى البيانات الضخمة ، مع جعلها ممكنة للمحركات مثل Spark و Trino و Flink و Presto و Hive و Impala للعمل بأمان مع الطاولات نفسها ، في نفس الوقت.

الخلفية والوثائق متوفرة في https://iceberg.apache.org

حالة

Iceberg تحت التطوير النشط في مؤسسة برمجيات Apache.

مواصفات تنسيق Iceberg مستقرة ويتم إضافة ميزات جديدة مع كل إصدار.

توجد مكتبة Java الأساسية في هذا المستودع وهو التنفيذ المرجعي للمكتبات الأخرى.

الوثائق متاحة لجميع المكتبات والتكامل.

تعاون

يتتبع Iceberg مشكلات في GitHub ويفضل تلقي المساهمات كطلبات سحب.

تحدث مناقشات المجتمع في المقام الأول على القائمة البريدية DEV أو حول قضايا محددة.

مبنى

تم بناء Iceberg باستخدام Gradle مع Java 11 أو 17 أو 21.

  • لاستدعاء اختبارات بناء وتشغيل: ./gradlew build
  • لتخطي الاختبارات: ./gradlew build -x test -x integrationTest
  • لإصلاح نمط الرمز للإصدارات الافتراضية ./gradlew spotlessApply
  • لإصلاح نمط الرمز لجميع إصدارات Spark/Hive/Flink ./gradlew spotlessApply -DallModules

يتم تنظيم دعم طاولة الجليد في وحدات المكتبة:

  • يحتوي iceberg-common على فصول فائدة مستخدمة في الوحدات الأخرى
  • iceberg-api يحتوي على واجهة برمجة تطبيقات Iceberg العامة
  • يحتوي iceberg-core على تطبيقات واجهة برمجة تطبيقات Iceberg ودعم ملفات بيانات AVRO ، وهذا ما يجب أن تعتمد عليه محركات المعالجة
  • iceberg-parquet هي وحدة اختيارية للعمل مع الجداول المدعومة من ملفات Parquet
  • iceberg-arrow هي وحدة اختيارية لقراءة الباركيه في ذاكرة السهم
  • iceberg-orc هي وحدة اختيارية للعمل مع الجداول المدعومة من ملفات ORC
  • iceberg-hive-metastore هو تطبيق طاولات الجبال الجليدية المدعومة من عميل Hive Metastore Thrift
  • iceberg-data هي وحدة اختيارية للعمل مع الجداول مباشرة من تطبيقات JVM

يحتوي Iceberg أيضًا على وحدات لإضافة دعم Iceberg لمحركات المعالجة:

  • iceberg-spark هو تطبيق لبرارة API DataSource V2 لـ Iceberg مع عروض فرعية لكل إصدارات Spark (استخدم الجرار وقت التشغيل لإصدار مظللة)
  • يحتوي iceberg-flink على فصول للتكامل مع Apache Flink (استخدم Iceberg-Flink-Runtime لإصدار مظللة)
  • يحتوي iceberg-mr على مدخلات وفئات أخرى للاندماج مع Apache Hive

ملحوظة

تتطلب الاختبارات Docker تنفيذها. على MacOS (مع سطح المكتب Docker) ، قد تحتاج إلى إنشاء اسم رمزي لمقبس Docker من أجل اكتشاف الاختبارات: 

 sudo ln -s $HOME/.docker/run/docker.sock /var/run/docker.sock

توافق المحرك

راجع صفحة الدعم متعددة المحركات لمعرفة توافق جبل الجليد مع إصدارات مختلفة للشرارة والفلنك والخلية. بالنسبة للمحركات الأخرى مثل Presto أو Trino ، يرجى زيارة مواقع الويب الخاصة بهم للحصول على تفاصيل تكامل Iceberg.

التطبيقات

يحتوي هذا المستودع على تنفيذ Java لـ Iceberg. يمكن العثور على تطبيقات أخرى على:

  • اذهب : Iceberg-go
  • Pyiceberg (Python): Iceberg-Python
  • الصدأ : الجبال الجليدية
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل