Download LakeSoul - Download Kode Sumber LakeSoul

LakeSoul

ular piton

v2.6.2

Unduh

中文介绍

Lakesoul adalah kerangka kerja lakehouse cloud-asli yang mendukung manajemen metadata yang dapat diskalakan, transaksi asam, operasi upsert yang efisien dan fleksibel, evolusi skema, dan pemrosesan streaming & batch terpadu.

Lakesoul mendukung beberapa mesin komputasi untuk membaca dan menulis data tabel Lake Warehouse, termasuk Spark, Flink, Presto, dan Pytorch, dan mendukung beberapa mode komputasi seperti Batch, Stream, MPP, dan AI. Lakesoul mendukung sistem penyimpanan seperti HDFS dan S3.

Danau Arch

Lakesoul awalnya dibuat oleh DMETASOUL Company dan disumbangkan ke Linux Foundation AI & Data sebagai proyek Sandbox sejak Mei 2023.

Lakesoul mengimplementasikan peningkatan tambahan untuk baris dan kolom dan memungkinkan pembaruan bersamaan.

Lakesoul menggunakan struktur seperti pohon-lsm untuk mendukung pembaruan pada tabel partisi hash dengan kunci utama, dan mencapai throughput penulisan yang sangat tinggi sambil memberikan penggabungan yang dioptimalkan pada kinerja baca (lihat tolok ukur kinerja). Skala danau Metadata Management dan mencapai kontrol asam dengan menggunakan PostgreSQL.

Lakesoul menggunakan Rust untuk mengimplementasikan lapisan metadata asli dan lapisan IO, dan menyediakan antarmuka C/Java/Python untuk mendukung penghubung beberapa kerangka kerja komputasi seperti Big Data dan AI.

Lakesoul mendukung batch bersamaan atau streaming baca dan tulis. Baik Baca dan Tulis mendukung semantik CDC, dan bersama-sama dengan evolusi skema otomatis dan jaminan yang luar biasa, membangun gudang data realtime menjadi mudah.

Lakesoul mendukung Multi-Workspace dan RBAC. Lakesoul menggunakan kebijakan keamanan RBAC dan tingkat baris postgres untuk menerapkan isolasi izin untuk metadata. Bersama dengan pengguna dan grup Hadoop, isolasi data fisik dapat dicapai. Isolasi izin Lakesoul efektif untuk pekerjaan SQL/Java/Python.

Lakesoul mendukung pemadatan otomatis yang terpisah, pemeliharaan siklus hidup tabel otomatis, dan pembersihan data berlebihan otomatis, mengurangi biaya operasi dan meningkatkan kegunaan.

Fitur yang lebih rinci silakan lihat halaman dokumen kami: Dokumentasi

Awal yang cepat

Ikuti start cepat untuk dengan cepat mengatur env tes.

Tutorial

Silakan temukan tutorial di situs DOC:

Contoh checkout pemrosesan data Python dan pelatihan model AI di danau tentang bagaimana danau yang menghubungkan AI ke LakeHouse untuk membangun infrastruktur data terpadu dan modern.
Checkout Lakesoul Flink CDC Seluruh Database Sinkronisasi Tutorial tentang Cara Menyinkronkan Seluruh Database MySQL ke Lakesoul secara realtime, dengan pembuatan tabel otomatis, sinkronisasi DDL otomatis dan persis setelah jaminan.
Checkout Flink SQL Penggunaan tentang Menggunakan Flink SQL untuk membaca atau menulis danau dalam mode batch dan streaming, dengan dukungan semantik aliran Flink Changelog dan Upsert dan Hapus Level Row.
Checkout Multi Stream menggabungkan dan membangun tutorial tabel lebar tentang cara menggabungkan beberapa aliran dengan kunci utama yang sama (dan kolom lain yang berbeda) bersamaan tanpa bergabung.
Lihat data UpSert dan gabungkan tutorial UDF tentang cara meningkatkan data dan menggabungkan UDF untuk menyesuaikan logika gabungan.
Checkout Snapshot API Penggunaan Tentang Cara Melakukan Snapshot Read (Waktu Perjalanan), Snapshot Rollback and Cleanup.
Checkout Incremental Query Tutorial tentang Cara Melakukan Kueri tambahan dalam Mode Batch atau Stream.

Dokumentasi penggunaan

Silakan temukan dokumentasi penggunaan di Situs DOC: Penggunaan dokumen

快速开始

教程

使用文档

Fitur peta jalan

Ilmu Data dan AI
- Pembaca Python asli (tanpa pyspark)
- Dataset Pytorch dan pelatihan terdistribusi
Manajemen Meta (#23)
- Partisi Ganda Level: Partisi Berbagai Rentang dan Paling Paling Banyak Partisi Hash
- Penulisan Bersamaan dengan Resolusi Konflik Otomatis
- MVCC dengan isolasi baca
- Tulis transaksi (komit dua tahap) melalui transaksi postgres
- Evolusi Skema: Tambah Kolom/Hapus Didukung
Operasi Tabel
- LSM-Tree Style Upsert untuk Tabel Partisi Hash
- Gabungkan di Partisi Baca untuk Hash dengan File Upsert Delta
- Salin On Write Update untuk Tabel Partisi Non Hash
- Layanan Pemadatan Disagregat Otomatis
Perjanjian Data
- Konsumsi aliran CDC dengan sinkronisasi DDL otomatis
- Kueri tambahan dan snapshot
  - Snapshot Query (#103)
  - Kueri tambahan (#103)
  - Sumber streaming tambahan (#130)
  - Sumber Flink Stream/Batch
- Multi Workspaces dan RBAC
Integrasi percikan
- API Tabel/DataFrame
- Dukungan SQL dengan katalog kecuali Upsert
- Optimalisasi permintaan
  - Shuffle/gabungan eliminasi untuk operasi pada kunci utama
- Gabungkan UDF (Gabungan Operator)
- Gabungkan ke dalam dukungan SQL
  - Gabungkan ke SQL dengan kecocokan pada kunci utama (gabungkan di baca)
  - Gabungkan ke SQL dengan kecocokan di non-pk
  - Gabungkan ke SQL dengan kondisi kecocokan dan ekspresi kompleks (gabungkan pada baca saat cocok pada PK) (tergantung pada #66)
Integrasi Flink dan konsumsi CDC (#57)
- API Tabel
  - Batch/Stream Wastafel
  - Sumber Batch/Stream
  - Sumber aliran/wastafel untuk semantik aliran changelog
  - Persis sekali sumber dan tenggelam
- Flink CDC
  - Sinkronisasi Perubahan Skema Otomatis (DDL)
  - Pembuatan Tabel Otomatis (tergantung pada #78)
  - Dukungan wastafel beberapa tabel sumber dengan skema yang berbeda (#84)
Integrasi sarang
- Ekspor ke Partisi Hive Setelah Pemadatan
- Integrasi Apache Kyuubi (Hive JDBC)
Pergudangan data realtime
- Konsumsi CDC
- Perjalanan Waktu (Baca Snapshot)
- Snapshot Rollback
- Layanan Pemadatan Global Otomatis
- Integrasi Mesin MPP (tergantung pada #66)
  - Presto
  - Trino
Cloud dan asli IO (#66)
- Object Storage IO Optimalisasi
- Gabungan asli saat membaca
- Dukungan kelas penyimpanan multi-lapisan dengan tiering data