ดาวน์โหลด LakeSoul - ดาวน์โหลดซอร์สโค้ด LakeSoul

LakeSoul

หลาม

v2.6.2

ดาวน์โหลด

中文介绍

Lakesoul เป็นเฟรมเวิร์ก Lakehouse เมฆที่รองรับการจัดการข้อมูลเมตาที่ปรับขนาดได้การทำธุรกรรมกรดการทำงานของ Upsert ที่มีประสิทธิภาพและยืดหยุ่นวิวัฒนาการสคีมา

Lakesoul รองรับเครื่องมือคอมพิวเตอร์หลายเครื่องเพื่ออ่านและเขียนข้อมูลตารางคลังสินค้าทะเลสาบรวมถึง Spark, Flink, Presto และ Pytorch และรองรับโหมดการคำนวณหลายโหมดเช่นแบทช์สตรีม MPP และ AI Lakesoul รองรับระบบจัดเก็บข้อมูลเช่น HDFS และ S3

ซุ้มประตูทะเลสาบ

Lakesoul ถูกสร้างขึ้นโดย บริษัท Dmetasoul และได้รับการบริจาคให้กับ Linux Foundation AI & Data เป็นโครงการ Sandbox ตั้งแต่เดือนพฤษภาคม 2566

Lakesoul ใช้ UPSERTS ที่เพิ่มขึ้นสำหรับทั้งแถวและคอลัมน์และอนุญาตให้มีการอัปเดตพร้อมกัน

Lakesoul ใช้โครงสร้าง LSM เช่นโครงสร้างเพื่อรองรับการอัปเดตบนตารางการแบ่งพาร์ติชันแฮชพร้อมคีย์หลักและบรรลุปริมาณงานเขียนที่สูงมากในขณะที่ให้การผสานที่ดีที่สุดในประสิทธิภาพการอ่าน (ดูมาตรฐานประสิทธิภาพ) Lakesoul Scales การจัดการข้อมูลเมตาและบรรลุการควบคุมกรดโดยใช้ PostgreSQL

Lakesoul ใช้ Rust เพื่อใช้เลเยอร์ข้อมูลเมตาดั้งเดิมและเลเยอร์ IO และให้อินเทอร์เฟซ C/Java/Python เพื่อรองรับการเชื่อมต่อของเฟรมเวิร์กการคำนวณหลายอย่างเช่น Big Data และ AI

Lakesoul รองรับแบทช์พร้อมกันหรือสตรีมมิ่งอ่านและเขียน ทั้งการอ่านและเขียนรองรับความหมายของ CDC และพร้อมกับวิวัฒนาการของสคีมาอัตโนมัติและการรับประกันแบบ onacly-once การสร้างคลังข้อมูลเรียลไทม์นั้นง่าย

Lakesoul รองรับ Multi-Workspace และ RBAC Lakesoul ใช้นโยบายความปลอดภัย RBAC และระดับแถวของ Postgres เพื่อดำเนินการแยกการอนุญาตสำหรับข้อมูลเมตา ร่วมกับผู้ใช้ Hadoop และกลุ่มสามารถแยกข้อมูลทางกายภาพได้ การแยกการอนุญาตของ Lakesoul นั้นมีผลบังคับใช้สำหรับงาน SQL/Java/Python

Lakesoul รองรับการบดอัดแบบอัตโนมัติการบำรุงรักษาวงจรชีวิตอัตโนมัติและการทำความสะอาดข้อมูลซ้ำซ้อนอัตโนมัติลดต้นทุนการทำงานและปรับปรุงการใช้งาน

คุณสมบัติรายละเอียดเพิ่มเติมโปรดดูที่หน้าเอกสารของเรา: เอกสารประกอบ

เริ่มต้นอย่างรวดเร็ว

ติดตามการเริ่มต้นอย่างรวดเร็วเพื่อตั้งค่าการทดสอบ env อย่างรวดเร็ว

บทเรียน

โปรดค้นหาแบบฝึกหัดในเว็บไซต์ DOC:

ตัวอย่างการชำระเงินของการประมวลผลข้อมูล Python และการฝึกอบรมแบบจำลอง AI เกี่ยวกับ Lakesoul เกี่ยวกับวิธีที่ Lakesoul เชื่อมต่อ AI กับ Lakehouse เพื่อสร้างโครงสร้างพื้นฐานข้อมูลแบบครบวงจรและทันสมัย
Checkout Lakesoul Flink CDC การสอนการซิงโครไนซ์ฐานข้อมูลทั้งหมดเกี่ยวกับวิธีการซิงค์ฐานข้อมูล MySQL ทั้งหมดลงใน Lakesoul แบบเรียลไทม์ด้วยการสร้างตารางอัตโนมัติการซิงค์ DDL อัตโนมัติและเมื่อรับประกัน
Checkout Flink SQL การใช้งานเมื่อใช้ Flink SQL เพื่ออ่านหรือเขียน Lakesoul ทั้งในโหมดแบทช์และสตรีมมิ่งด้วยการรองรับความหมายของสตรีม Flink Changelog และ upsert ระดับแถวและลบ
ชำระเงินมัลติสตรีมรวมและสร้างแบบฝึกหัดที่กว้างเกี่ยวกับวิธีการรวมสตรีมหลายสตรีมกับคีย์หลักเดียวกัน (และคอลัมน์อื่น ๆ ที่แตกต่างกัน) พร้อมกันโดยไม่ต้องเข้าร่วม
Checkout Upsert Data และรวม UDF Tutorial เกี่ยวกับวิธีการเพิ่มข้อมูลและผสาน UDF เพื่อปรับแต่งตรรกะการผสาน
การชำระเงิน Snapshot API เกี่ยวกับวิธีการอ่าน Snapshot (การเดินทางข้ามเวลา), Snapshot Rollback และ Cleanup
Checkout Cuery Query แบบสอบถามเกี่ยวกับวิธีการสืบค้นที่เพิ่มขึ้นใน Spark ในโหมดแบทช์หรือสตรีม

เอกสารการใช้งาน

โปรดค้นหาเอกสารการใช้งานในเว็บไซต์เอกสาร: การใช้งานเอกสาร

快速开始

教程

使用文档

ฟีเจอร์โรดแมป

วิทยาศาสตร์ข้อมูลและ AI
- Native Python Reader (ไม่มี pyspark)
- ชุดข้อมูล Pytorch และการฝึกอบรมแบบกระจาย
การจัดการเมตา (#23)
- การแบ่งพาร์ติชันหลายระดับ: พาร์ติชันช่วงหลายช่วงและส่วนใหญ่พาร์ติชันแฮช
- เขียนพร้อมกันด้วยการแก้ไขข้อขัดแย้งอัตโนมัติ
- MVCC พร้อมการแยกอ่าน
- การเขียนธุรกรรม (การกระทำสองขั้นตอน) ผ่านการทำธุรกรรม Postgres
- Schema Evolution: คอลัมน์เพิ่ม/ลบสนับสนุน
การดำเนินการบนตาราง
- LSM-Tree upsert สำหรับตารางพาร์ติชันแฮช
- ผสานการอ่านสำหรับพาร์ติชันแฮชกับไฟล์เดลต้า Upsert
- คัดลอกเมื่อมีการอัปเดตการเขียนสำหรับตารางพาร์ติชันที่ไม่ใช่แฮช
- บริการบดอัดอัตโนมัติ
คลังข้อมูล
- การบริโภคสตรีม CDC ด้วยการซิงค์อัตโนมัติ DDL
- แบบสอบถามที่เพิ่มขึ้นและสแน็ปช็อต
  - Snapshot Query (#103)
  - แบบสอบถามที่เพิ่มขึ้น (#103)
  - แหล่งสตรีมที่เพิ่มขึ้น (#130)
  - แหล่งที่มาของ Flink Stream/Batch
- พื้นที่ทำงานหลายพื้นที่และ RBAC
การรวมจุดประกาย
- Table/DataFrame API
- การสนับสนุน SQL ด้วยแคตตาล็อกยกเว้น upsert
- การเพิ่มประสิทธิภาพแบบสอบถาม
  - การสลับ/เข้าร่วมการกำจัดสำหรับการดำเนินการในคีย์หลัก
- ผสาน UDF (ผู้ประกอบการผสาน)
- รวมเข้ากับการสนับสนุน SQL
  - รวมเข้ากับ SQL กับการจับคู่บนคีย์หลัก (ผสานเมื่ออ่าน)
  - รวมเข้ากับ SQL กับการจับคู่บน Non-PK
  - รวมเข้ากับ SQL กับเงื่อนไขการจับคู่และนิพจน์ที่ซับซ้อน (รวมกับการอ่านเมื่อจับคู่กับ PK) (ขึ้นอยู่กับ #66)
การรวม Flink และการบริโภค CDC (#57)
- ตาราง API
  - ชุดแบทช์/สตรีม
  - แหล่งที่มาของแบทช์/สตรีม
  - สตรีมแหล่งที่มา/อ่างล้างจานสำหรับความหมายของสตรีม changelog
  - เมื่อแหล่งที่มาและจม
- Flink CDC
  - การเปลี่ยนสคีมาอัตโนมัติ (DDL) ซิงค์
  - การสร้างตารางอัตโนมัติ (ขึ้นอยู่กับ #78)
  - รองรับ Sink หลายตารางต้นฉบับด้วย schemas ที่แตกต่างกัน (#84)
การรวมกลุ่ม
- ส่งออกไปยังพาร์ทิชัน Hive หลังจากการบดอัด
- การรวม Apache Kyuubi (Hive JDBC)
คลังข้อมูลเรียลไทม์
- การบริโภค CDC
- Time Travel (Snapshot Read)
- Snapshot Rollback
- บริการการบดอัดทั่วโลกอัตโนมัติ
- การรวมเครื่องยนต์ MPP (ขึ้นอยู่กับ #66)
  - เพสโต้
  - ทริโน่
คลาวด์และ IO พื้นเมือง (#66)
- การเพิ่มประสิทธิภาพการจัดเก็บวัตถุ io
- ผสานพื้นเมืองเมื่ออ่าน
- คลาสหน่วยเก็บข้อมูลหลายชั้นรองรับการจัดระดับข้อมูล