LakeSoul

中文介绍

Lakesoul是一个云本地湖泊框架，可支持可扩展的元数据管理，酸性交易，高效且灵活的UPSERT操作，模式演化以及统一的流媒体和批处理处理。

Lakesoul支持多个计算引擎读写湖仓库表数据，包括Spark，Flink，Presto和Pytorch，并支持多个计算模式，例如批处理，流，MPP和AI。 Lakesoul支持HDFS和S3等存储系统。

Lakesoul最初是由Dmetasoul Company创建的，自2023年5月以来，被捐赠给Linux Foundation AI＆Data作为沙盒项目。

Lakesoul为行和列实现增量UPSERT，并允许并发更新。

Lakesoul使用LSM-Tree类似结构来支持带有主键的哈希分区表的更新，并在提供优化的读取性能（请参阅性能基准）的同时，获得了很高的写入吞吐量。 Lakesoul尺度元数据管理并通过使用PostgreSQL实现酸控制。

Lakesoul使用Rust实现本机元数据层和IO层，并提供C/Java/Python接口来支持多个计算框架（例如大数据和AI）的连接。

Lakesoul支持并发批处理或流式读写。读写和写作都支持CDC语义，以及自动架构的演变和加剧的保证，构建实时数据仓库非常容易。

Lakesoul支持多工作空间和RBAC。 Lakesoul使用Postgres的RBAC和行级安全策略来实施元数据的许可隔离。与Hadoop用户和组一起，可以实现物理数据隔离。 Lakesoul的许可隔离对于SQL/Java/Python Jobs有效。

Lakesoul支持自动分解压实，自动餐桌生命周期维护以及自动冗余数据清洁，降低操作成本并提高可用性。

更详细的功能请参阅我们的文档页面：文档

快速开始

按照快速启动快速设置测试环境。

教程

请在文档网站中找到教程：

• 关于Lakesoul的Python数据处理和AI模型培训的结帐示例，介绍了Lakesoul如何将AI连接到Lakehouse建立统一和现代数据基础架构。
• 结帐Lakesoul Flink CDC全数据库同步教程如何实时将整个MySQL数据库同步到Lakesoul中，并与自动表创建，自动DDL同步以及一次保证。
• 在使用Flink SQL上使用Flink SQL在批处理和流式模式下读取或编写Lakesoul的Flink SQL使用，并在Flink ChangElog流语义和行级UPSERT和DELETE的支持下进行了支持。
• 结帐多流合并并构建有关如何将多个流与同一主键（和其他其他列）同时合并而无需加入的宽桌教程。
• 结帐UPSERT数据并合并UDF教程，以了解如何UPSERT数据并合并UDF以自定义合并逻辑。
• 查看有关如何进行快照读取（时间旅行），快照回滚和清理的快照API使用。
• 查看如何在批处理或流模式下在Spark中进行增量查询的增量查询教程。

使用文档

请在Doc网站上找到使用文档：用法DOC

快速开始

教程

使用文档

功能路线图

• 数据科学和AI
  • 本地python读者（无pyspark）
  • Pytorch数据集和分布式培训
• 元管理（＃23）
  • 多级分区：多个范围分区，最多有一个哈希分区
  • 同时写入自动冲突解决
  • MVCC具有读取隔离
  • 通过Postgres交易写入交易（两阶段提交）
  • 架构演化：支持列添加/删除
• 表操作
  • lsm-tree样式upsert用于哈希分区表
  • 与UPSERT DELTA文件合并阅读哈希分区
  • 复制非哈希分区表的写入更新
  • 自动分解压实服务
• 数据仓库
  • CDC流摄入自动DDL同步
  • 增量和快照查询
    • 快照查询（＃103）
    • 增量查询（＃103）
    • 增量流源（＃130）
    • 弗林克流/批处理源
  • 多工作区和RBAC
• 火花集成
  • 表/dataFrame API
  • 除upsert以外，SQL支持与目录
  • 查询优化
    • 洗牌/加入淘汰主要钥匙操作
  • 合并UDF（合并操作员）
  • 合并为SQL支持
    • 与主键上的匹配合并为SQL（读取）
    • 与non-pk上的匹配合并为SQL
    • 将匹配条件和复杂表达式合并到SQL中（在pk上匹配时读取时合并）（取决于＃66）
• Flink集成和CDC摄入（＃57）
  • 表API
    • 批处理/流式接收器
    • 批处理/流源
    • ChangElog流语义的流源/水槽
    • 恰好一次来源和下沉
  • Flink CDC
    • 自动架构更改（DDL）同步
    • 自动表创建（取决于＃78）
    • 支持带有不同模式的多个源表（＃84）
• 蜂巢整合
  • 压实后导出到蜂巢分区
  • Apache Kyuubi（Hive JDBC）集成
• 实时数据仓库
  • CDC摄入
  • 时间旅行（快照阅读）
  • 快照回滚
  • 自动全球压实服务
  • MPP引擎集成（取决于＃66）
    • 普雷斯托
    • trino
• 云和本地IO（＃66）
  • 对象存储IO优化
  • 本地人合并阅读
  • 多层存储类支持数据层

社区准则

社区准则

反馈和贡献

如果您有任何疑问，请随时打开问题或dicussion。

加入我们的Discord服务器进行讨论。

联系我们

通过[email protected]给我们发送电子邮件。

OpenSource许可证

Lakesoul根据Apache许可证v2.0开放。