LakeSoul
v2.6.2
中文介绍
Lakesoulは、スケーラブルなメタデータ管理、酸トランザクション、効率的で柔軟なUPSERT操作、スキーマ進化、統合ストリーミングおよびバッチ処理をサポートするクラウドネイティブレイクハウスフレームワークです。
Lakesoulは、Spark、Flink、Presto、Pytorchを含むLake Warehouseテーブルのデータを読み書きするための複数のコンピューティングエンジンをサポートし、Batch、Stream、MPP、AIなどの複数のコンピューティングモードをサポートしています。 Lakesoulは、HDFSやS3などのストレージシステムをサポートしています。
LakesoulはもともとDmetasoul Companyによって作成され、2023年5月からLinux Foundation AI＆DataとしてSandboxプロジェクトとして寄付されました。
Lakesoulは、行と列の両方の増分上のUpsertを実装し、同時の更新を許可します。
Lakesoulは、LSM-Tree Like Structureを使用して、プライマリキーを使用してハッシュパーティションテーブルの更新をサポートし、読み取りパフォーマンスで最適化されたマージを提供しながら、非常に高い書き込みスループットを実現します（パフォーマンスベンチマークを参照）。 Lakesoulはメタデータ管理を拡張し、PostgreSQLを使用して酸性制御を実現します。
LakesoulはRustを使用してネイティブメタデータ層とIO層を実装し、C/Java/Pythonインターフェイスを提供して、ビッグデータやAIなどの複数のコンピューティングフレームワークの接続をサポートします。
Lakesoulは、同時バッチまたはストリーミングの読み取りと書き込みをサポートしています。読み取りと書き込みの両方がCDCセマンティクスをサポートし、自動スキーマの進化とexacly-Once保証とともに、リアルタイムデータウェアハウスの構築は簡単になります。
Lakesoulは、マルチワークスペースとRBACをサポートしています。 Lakesoulは、PostgresのRBACおよびRowレベルのセキュリティポリシーを使用して、メタデータの許可隔離を実装しています。 Hadoopユーザーとグループとともに、物理データの分離を達成できます。 Lakesoulの許可の隔離は、SQL/Java/Pythonジョブに効果的です。
Lakesoulは、自動化されたコンパクション、自動テーブルライフサイクルメンテナンス、自動冗長データクリーニング、運用コストの削減、使いやすさの向上をサポートしています。
より詳細な機能ドキュメントページを参照してください：ドキュメント
クイックスタートに従って、テストenvをすばやく設定します。
ドキュメントサイトでチュートリアルをご覧ください：
DOCサイトで使用法のドキュメントを見つけてください：使用法doc
快速开始
教程
使用文档
コミュニティのガイドライン
質問がある場合は、問題や障害を自由に開いてください。
ディスカードサーバーに参加してください。
[email protected]にメールしてください。
Lakesoulは、Apacheライセンスv2.0でオープンソーリングされています。
