LakeSoul Download - LakeSoul Quellcode Download

LakeSoul

Python

v2.6.2

Herunterladen

中文介绍

Lakesoul ist ein Cloud-natives Lakehouse-Framework, das skalierbares Metadatenmanagement, Säuretransaktionen, effizientes und flexibler Betrieb, Schemaentwicklung und einheitliche Streaming- und Stapelverarbeitung unterstützt.

Lakesoul unterstützt mehrere Computermotoren zum Lesen und Schreiben von Lake Warehouse -Tabellendaten wie Spark, Flink, Presto und Pytorch und unterstützt mehrere Computermodi wie Batch, Stream, MPP und AI. Lakesoul unterstützt Speichersysteme wie HDFS und S3.

Lakesoul Arch

Lakesoul wurde ursprünglich von Dmetasoul Company erstellt und seit Mai 2023 an die Linux Foundation AI & Data als Sandbox -Projekt gespendet.

Lakesoul implementiert inkrementelle Upserts sowohl für Zeilen als auch für die Spalte und ermöglicht gleichzeitige Updates.

Lakesoul verwendet die LSM-Baumstruktur, um Aktualisierungen der Hash-Partitionierungstabelle mit dem Primärschlüssel zu unterstützen. Er erzielt einen sehr hohen Schreibdurchsatz und bietet gleichzeitig eine optimierte Verschmelzung für die Leseleistung (siehe Leistungsbenchmarks). Lakesoul skaliert Metadatenmanagement und erreicht die Säurekontrolle unter Verwendung von PostgreSQL.

Lakesoul verwendet Rust, um die native Metadatenschicht und die IO -Schicht zu implementieren und bietet C/Java/Python -Schnittstellen, um die Verbindung mehrerer Computer -Frameworks wie Big Data und KI zu unterstützen.

Lakesoul unterstützt gleichzeitig Stapel oder Streaming -Lesen und Schreiben. Sowohl Lesed als

Lakesoul unterstützt Multi-Arbeiten und RBAC. Lakesoul verwendet Postgres-Sicherheitsrichtlinien auf RBAC- und Reihenebene, um die Isolation von Berechtigungen für Metadaten zu implementieren. Zusammen mit Hadoop -Benutzern und Gruppen kann die physische Datenisolierung erreicht werden. Die Erlaubnis -Isolation von Lakesoul ist für SQL/Java/Python -Jobs wirksam.

Lakesoul unterstützt die automatische disaggregierte Verdichtung, die automatische Wartung des Lebenszyklus und die automatische redundante Datenreinigung, die Reduzierung der Betriebskosten und die Verbesserung der Benutzerfreundlichkeit.

Detailliertere Funktionen finden Sie auf unserer DOC -Seite: Dokumentationen

Schneller Start

Folgen Sie dem schnellen Start, um schnell eine Testumd einzurichten.

Tutorials

Tutorials finden Sie in der DOC -Website:

Checkout -Beispiele für die Verarbeitung von Python -Daten und KI -Modelltraining auf Lakesoul, wie Lakesoul KI mit Lakehouse verbindet, um eine einheitliche und moderne Dateninfrastruktur zu bauen.
Checkout Lakesoul Flink CDC Ganzdatenbank -Synchronisation Tutorial zum Synchronisieren einer gesamten MySQL -Datenbank in Echtzeit in Lakesoul, mit automatischer Tabellenerstellung, automatischer DDL -Synchronisierung und genau einmal garantiert.
Checkout Flink SQL-Verwendung zum Lesen oder Schreiben von Flink SQL zum Lesen oder Schreiben von Lakesoul sowohl im Stapel- als auch im Streaming-Modus mit den Unterstützungen von Flink Changelog-Stream-Semantik sowie Höhenhöhe und Löschen.
Checkout Multi -Stream -Zusammenführen und erstellen Sie ein breites Tabellen -Tutorial zum Zusammenführen mehrerer Streams mit demselben Primärschlüssel (und verschiedenen anderen Spalten) gleichzeitig ohne Join.
Checkout -Ups -Daten und Fusions -UDF -Tutorial zum Upsertieren und Zusammenführen von UDF, um die Merge -Logik anzupassen.
Kasse -Snapshot -API -Verwendung zum Lesen von Snapshot (Zeitreisen), Snapshot -Rollback und Reinigung.
Inkrementelle Abfrage -Tutorial für Kasse zum Inkrementellen Abfrage in Spark im Stapel- oder Stream -Modus.

Nutzungsdokumentationen

Bitte finden Sie Nutzungsdokumentationen in der DOC -Website: Nutzungsdokument

快速开始

教程

使用文档

Roadmap

Datenwissenschaft und KI
- Native Python Reader (ohne PYSPARK)
- Pytorch -Datensatz und verteiltes Training
Meta -Management (#23)
- Multiple -Level -Partitionierung: Multiple Range Partition und höchstens eine Hash -Partition
- Gleichzeitiger Schreiben mit automatischer Konfliktlösung
- MVCC mit Leseisolation
- Schreiben Sie Transaktion (zweistufiges Commit) über Postgres-Transaktion
- Schemaentwicklung: Spalten hinzufügen/löschen unterstützt
Tischvorgänge
- LSM-TREE-Stil-Stile für Hash-Partitionstisch
- Fusion on Read for Hash Partition mit Upsert Delta -Datei
- Kopieren Sie beim Schreiben von Update für nicht hash -partitionierte Tabelle
- Automatisch disaggregierter Verdichtungsdienst
Data Warehousing
- CDC -Stream -Einnahme mit automatischer DDL -Synchronisierung
- Inkrementelle und Schnappschussabfrage
  - Snapshot -Abfrage (#103)
  - Inkrementelle Abfrage (#103)
  - Inkrementelle Streaming -Quelle (#130)
  - Flink Stream/Stapelquelle
- Multi -Arbeitsbereiche und RBAC
Funkenintegration
- Tabelle/Datenframe -API
- SQL -Unterstützung mit Katalog außer Upsert
- Abfrageoptimierung
  - SHUFFEN/BELEIGENE DELETUNG FÜR DEN OPERATIONEN AUF PRIMAL KEY
- UDF zusammenführen (Merge -Operator)
- In SQL -Unterstützung verschmelzen
  - Führen Sie mit Übereinstimmung mit dem Primärschlüssel in SQL zusammen (zusammenarbeiten)
  - Führen Sie mit Übereinstimmung mit Nicht-PK in SQL zusammen
  - Führen Sie in SQL mit Spielbedingung und komplexem Ausdruck zusammen (fusion on Read bei der Übereinstimmung mit PK) (hängt von #66 ab)
Flink -Integration und CDC -Einnahme (#57)
- Tabelle API
  - Stapel/Stream -Waschbecken
  - Stapel-/Stream -Quelle
  - Stream Source/Sink für ChangeLog -Stream -Semantik
  - Genau einmal Quelle und sinken
- Flink CDC
  - Synchronisierung für Auto -Schema -Veränderungen (DDL)
  - Erstellung von Auto -Tabellen (abhängig von #78)
  - Unterstützen Sie die Sink Mehrere Quelltabellen mit unterschiedlichen Schemata (#84)
Hive -Integration
- Exportieren Sie die Hive -Partition nach der Verdichtung
- Apache Kyuubi (Hive JDBC) Integration
Echtzeitdatenlager
- CDC -Aufnahme
- Zeitreisen (Snapshot lesen)
- Snapshot -Rollback
- Automatischer globaler Verdichtungsdienst
- MPP -Motorintegration (abhängig von #66)
  - Presto
  - Trino
Cloud und native IO (#66)
- Objektspeicher -IO -Optimierung
- Native Fusion on Read
- Mehrschichtspeicherklassen unterstützen mit Datenbetrieben