تنزيل LakeSoul - تنزيل رمز المصدر LakeSoul

LakeSoul

بايثون

v2.6.2

تنزيل

中文介绍

Lakesoul هو إطار Lakehouse الأصلي السحابي الذي يدعم إدارة البيانات الوصفية القابلة للتطوير ، والمعاملات الحمضية ، والتشغيل الفعال والمرن المرن ، وتطور المخطط ، ومعالجة البث والدفعة الموحدة.

تدعم Lakesoul محركات الحوسبة المتعددة لقراءة وكتابة بيانات طاولة مستودعات البحيرة ، بما في ذلك Spark و Flink و Presto و Pytorch ، ويدعم أنماط الحوسبة المتعددة مثل الدفعة والبلاغ و MPP و AI. يدعم Lakesoul أنظمة التخزين مثل HDFs و S3.

Lakesoul Arch

تم إنشاء Lakesoul في الأصل بواسطة Dmetasoul Company وتم التبرع به لمؤسسة Linux AI & Data كمشروع Sandbox منذ مايو 2023.

يطبق Lakesoul انتفاخات تدريجية لكل من الصف والعمود ويسمح بالتحديثات المتزامنة.

يستخدم Lakesoul هيكل LSM Tree Lik لدعم التحديثات على جدول تقسيم التجزئة مع المفتاح الأساسي ، ويحقق إنتاجية عالية جدًا مع توفير دمج محسّن على أداء القراءة (راجع معايير الأداء). Lakesoul Scales إدارة البيانات الوصفية ويحقق التحكم في الحمض باستخدام postgresql.

تستخدم Lakesoul Rust لتنفيذ طبقة البيانات الوصفية الأصلية وطبقة IO ، وتوفر واجهات C/Java/Python لدعم توصيل أطر الحوسبة المتعددة مثل البيانات الضخمة و AI.

Lakesoul يدعم الدُفعة المتزامنة أو القراءة والكتابة. يدعم كلاهما قراءة وكتابة دلالات CDC ، وجانب تطور مخطط السيارات وضمان exacly-once ، أصبح إنشاء مستودعات بيانات الوقت الحقيقي أمرًا سهلاً.

Lakesoul يدعم المساحة متعددة workspace و RBAC. تستخدم Lakesoul سياسات RBAC الخاصة بـ Postgres و SEURICIONS على مستوى الصف لتنفيذ عزل الإذن للبيانات الوصفية. جنبا إلى جنب مع مستخدمي Hadoop والمجموعات ، يمكن تحقيق عزل البيانات المادية. إن عزل إذن ليكسول فعال في وظائف SQL/Java/Python.

يدعم Lakesoul الضغط التلقائي غير المتجنب ، وصيانة دورة حياة المائدة التلقائية ، وتنظيف البيانات المتكررة التلقائي ، وتقليل تكاليف التشغيل وتحسين قابلية الاستخدام.

المزيد من الميزات التفصيلية يرجى الرجوع إلى صفحة المستندات لدينا: الوثائق

بداية سريعة

اتبع البداية السريعة لإعداد اختبار ENV بسرعة.

دروس

يرجى العثور على دروس في موقع DOC:

Checkout أمثلة على معالجة بيانات Python والتدريب على نموذج الذكاء الاصطناعى على Lakesoul حول كيفية ربط Lakesoul AI إلى Lakehouse لبناء بنية تحتية موحدة وحديثة للبيانات.
Checkout Lakesoul Flink CDC CONNCHRONIGATE TYSBASE TYCHROINALIGANT حول كيفية مزامنة قاعدة بيانات MYSQL بأكملها في Lakesoul في الوقت الفعلي ، مع إنشاء الجدول التلقائي ، ومزامنة Auto DDL وضمان بالضبط.
Checkout Flink SQL Usage على استخدام Flink SQL لقراءة أو كتابة Lakesoul في كل من وضع الدُفعات والبث ، مع دعم دلالات دفق Flink Changelog وترعيد على مستوى الصف.
Checkout Multi Stream Merge و Build Wide Table Tutorial حول كيفية دمج دفق متعدد بنفس المفتاح الأساسي (والأعمدة الأخرى المختلفة) بشكل متزامن دون الانضمام.
Checkout Upsert Data ودمج البرنامج التعليمي UDF حول كيفية رفع البيانات ودمج UDF لتخصيص منطق دمج.
Checkout Snapshot API استخدام حول كيفية القيام بقراءة لقطة (السفر عبر الزمن) ، لقطة لقطة وتنظيف.
الخروج التعليمي الاستعلام التزايدي حول كيفية إجراء استعلام تدريجي في شرارة في وضع الدفعة أو الدفق.

وثائق الاستخدام

يرجى العثور على وثائق الاستخدام في موقع DOC: مستند الاستخدام

快速开始

教程

使用文档

خارطة طريق ميزة

علم البيانات و AI
- قارئ بيثون الأصلي (بدون pyspark)
- مجموعة بيانات Pytorch والتدريب الموزعة
Meta Management (#23)
- تقسيم المستوى المتعدد: قسم متعدد النطاق وقسم التجزئة على الأكثر
- الكتابة المتزامنة مع حل الصراع التلقائي
- MVCC مع قراءة العزلة
- اكتب المعاملة (الالتزام على مرحلتين) من خلال معاملة Postgres
- تطور المخطط: عمود إضافة/حذف مدعوم
عمليات الجدول
- انتصار نمط LSM Tree لجدول تقسيم التجزئة
- اندمج على القراءة لقسم التجزئة مع ملف دلتا Upsert
- نسخ على تحديث الكتابة للجدول غير المتقس
- خدمة الضغط غير المتجنب التلقائي
مستودع البيانات
- تناول دفق CDC مع مزامنة DDL Auto
- استعلام تدريجي وقطعة
  - استعلام لقطة (#103)
  - استعلام تدريجي (#103)
  - مصدر التدفق الإضافي (#130)
  - دفق flink/مصدر الدُفعة
- مساحات عمل متعددة و RBAC
تكامل الشرارة
- جدول/بيانات API
- دعم SQL مع الكتالوج باستثناء upsert
- تحسين الاستعلام
  - خلط/الانضمام إلى الإزالة للعمليات على المفتاح الأساسي
- دمج UDF (عامل دمج)
- دمج في دعم SQL
  - اندمج في SQL مع مطابقة على المفتاح الأساسي (دمج على القراءة)
  - اندمج في SQL مع المباراة على غير PK
  - اندمج في SQL مع حالة المطابقة والتعبير المعقد (دمج على القراءة عند تطابق على PK) (يعتمد على #66)
تكامل Flink وابتلاع CDC (#57)
- الجدول API
  - دفعة/دفق بالوعة
  - مصدر الدفعة/الدفق
  - دفق المصدر/الحوض لدلالات دفق التغيير
  - مرة واحدة بالضبط المصدر والوعة
- Flink CDC
  - تغيير مخطط السيارات (DDL) مزامنة
  - إنشاء الجدول التلقائي (يعتمد على #78)
  - دعم Sink جداول مصدر متعددة مع مخططات مختلفة (#84)
تكامل الخلية
- تصدير إلى قسم الخلية بعد الضغط
- Apache Kyuubi (Hive JDBC) تكامل
مستودع بيانات الوقت الحقيقي
- الابتلاع CDC
- السفر عبر الزمن (قراءة لقطة)
- لقطة التراجع
- خدمة الضغط العالمي التلقائي
- تكامل محرك MPP (يعتمد على #66)
  - بريستو
  - ترينو
السحابة و IO الأصلية (#66)
- تخزين الكائنات IO تحسين
- الاندماج الأصلي في القراءة
- تدعم فئات التخزين متعددة الطبقات مع مستويات البيانات