LakeSoul

中文介紹

Lakesoul是一個雲本地湖泊框架，可支持可擴展的元數據管理，酸性交易，高效且靈活的UPSERT操作，模式演化以及統一的流媒體和批處理處理。

Lakesoul支持多個計算引擎讀寫湖倉庫表數據，包括Spark，Flink，Presto和Pytorch，並支持多個計算模式，例如批處理，流，MPP和AI。 Lakesoul支持HDFS和S3等存儲系統。

Lakesoul最初是由Dmetasoul Company創建的，自2023年5月以來，被捐贈給Linux Foundation AI＆Data作為沙盒項目。

Lakesoul為行和列實現增量UPSERT，並允許並發更新。

Lakesoul使用LSM-Tree類似結構來支持帶有主鍵的哈希分區表的更新，並在提供優化的讀取性能（請參閱性能基準）的同時，獲得了很高的寫入吞吐量。 Lakesoul尺度元數據管理並通過使用PostgreSQL實現酸控制。

Lakesoul使用Rust實現本機元數據層和IO層，並提供C/Java/Python接口來支持多個計算框架（例如大數據和AI）的連接。

Lakesoul支持並發批處理或流式讀寫。讀寫和寫作都支持CDC語義，以及自動架構的演變和加劇的保證，構建實時數據倉庫非常容易。

Lakesoul支持多工作空間和RBAC。 Lakesoul使用Postgres的RBAC和行級安全策略來實施元數據的許可隔離。與Hadoop用戶和組一起，可以實現物理數據隔離。 Lakesoul的許可隔離對於SQL/Java/Python Jobs有效。

Lakesoul支持自動分解壓實，自動餐桌生命週期維護以及自動冗餘數據清潔，降低操作成本並提高可用性。

更詳細的功能請參閱我們的文檔頁面：文檔

快速開始

按照快速啟動快速設置測試環境。

教程

請在文檔網站中找到教程：

• 關於Lakesoul的Python數據處理和AI模型培訓的結帳示例，介紹了Lakesoul如何將AI連接到Lakehouse建立統一和現代數據基礎架構。
• 結帳Lakesoul Flink CDC全數據庫同步教程如何實時將整個MySQL數據庫同步到Lakesoul中，並與自動表創建，自動DDL同步以及一次保證。
• 在使用Flink SQL上使用Flink SQL在批處理和流式模式下讀取或編寫Lakesoul的Flink SQL使用，並在Flink ChangElog流語義和行級UPSERT和DELETE的支持下進行了支持。
• 結帳多流合併並構建有關如何將多個流與同一主鍵（和其他其他列）同時合併而無需加入的寬桌教程。
• 結帳UPSERT數據並合併UDF教程，以了解如何UPSERT數據並合併UDF以自定義合併邏輯。
• 查看有關如何進行快照讀取（時間旅行），快照回滾和清理的快照API使用。
• 查看如何在批處理或流模式下在Spark中進行增量查詢的增量查詢教程。

使用文檔

請在Doc網站上找到使用文檔：用法DOC

快速開始

教程

使用文檔

功能路線圖

• 數據科學和AI
  • 本地python讀者（無pyspark）
  • Pytorch數據集和分佈式培訓
• 元管理（＃23）
  • 多級分區：多個範圍分區，最多有一個哈希分區
  • 同時寫入自動衝突解決
  • MVCC具有讀取隔離
  • 通過Postgres交易寫入交易（兩階段提交）
  • 架構演化：支持列添加/刪除
• 表操作
  • lsm-tree樣式upsert用於哈希分區表
  • 與UPSERT DELTA文件合併閱讀哈希分區
  • 複製非哈希分區表的寫入更新
  • 自動分解壓實服務
• 數據倉庫
  • CDC流攝入自動DDL同步
  • 增量和快照查詢
    • 快照查詢（＃103）
    • 增量查詢（＃103）
    • 增量流源（＃130）
    • 弗林克流/批處理源
  • 多工作區和RBAC
• 火花集成
  • 表/dataFrame API
  • 除upsert以外，SQL支持與目錄
  • 查詢優化
    • 洗牌/加入淘汰主要鑰匙操作
  • 合併UDF（合併操作員）
  • 合併為SQL支持
    • 與主鍵上的匹配合併為SQL（讀取）
    • 與non-pk上的匹配合併為SQL
    • 將匹配條件和復雜表達式合併到SQL中（在pk上匹配時讀取時合併）（取決於＃66）
• Flink集成和CDC攝入（＃57）
  • 表API
    • 批處理/流式接收器
    • 批處理/流源
    • ChangElog流語義的流源/水槽
    • 恰好一次來源和下沉
  • Flink CDC
    • 自動架構更改（DDL）同步
    • 自動表創建（取決於＃78）
    • 支持帶有不同模式的多個源表（＃84）
• 蜂巢整合
  • 壓實後導出到蜂巢分區
  • Apache Kyuubi（Hive JDBC）集成
• 實時數據倉庫
  • CDC攝入
  • 時間旅行（快照閱讀）
  • 快照回滾
  • 自動全球壓實服務
  • MPP引擎集成（取決於＃66）
    • 普雷斯托
    • trino
• 雲和本地IO（＃66）
  • 對象存儲IO優化
  • 本地人合併閱讀
  • 多層存儲類支持數據層

社區準則

社區準則

反饋和貢獻

如果您有任何疑問，請隨時打開問題或dicussion。

加入我們的Discord服務器進行討論。

聯繫我們

通過[email protected]給我們發送電子郵件。

OpenSource許可證

Lakesoul根據Apache許可證v2.0開放。