LakeSoul 다운로드 - LakeSoul 소스 코드 다운로드

LakeSoul

파이썬

v2.6.2

다운로드

中文介绍

Lakesoul은 Cloud-Native Lakehouse 프레임 워크로 확장 가능한 메타 데이터 관리, 산성 트랜잭션, 효율적이고 유연한 상향 조작, 스키마 진화 및 통합 스트리밍 및 배치 처리를 지원합니다.

Lakesoul은 Spark, Flink, Presto 및 Pytorch를 포함한 Lake Warehouse 테이블 데이터를 읽고 작성하기 위해 여러 컴퓨팅 엔진을 지원하며 Batch, Stream, MPP 및 AI와 같은 여러 컴퓨팅 모드를 지원합니다. Lakesoul은 HDF 및 S3와 같은 스토리지 시스템을 지원합니다.

Lakesoul 아치

Lakesoul은 원래 Dmetasoul Company에 의해 만들어졌으며 2023 년 5 월부터 샌드 박스 프로젝트로 Linux Foundation AI & Data에 기부되었습니다.

Lakesoul은 행과 열 모두에 대한 증분 업 서브를 구현하고 동시 업데이트를 허용합니다.

Lakesoul은 LSM-Tree Like Structure를 사용하여 기본 키가있는 해시 파티셔닝 테이블의 업데이트를 지원하며 읽기 성능에 대한 최적화 된 병합을 제공하면서 매우 높은 쓰기 처리량을 달성합니다 (성능 벤치 마크 참조). Lakesoul은 메타 데이터 관리를 스케일하고 PostgreSQL을 사용하여 산 제어를 달성합니다.

Lakesoul은 Rust를 사용하여 기본 메타 데이터 레이어와 IO 계층을 구현하고 C/Java/Python 인터페이스를 제공하여 빅 데이터 및 AI와 같은 여러 컴퓨팅 프레임 워크의 연결을 지원합니다.

Lakesoul은 동시 배치 또는 스트리밍 읽기 및 쓰기를 지원합니다. 읽기 및 쓰기는 CDC 시맨틱을 지원하며 자동 스키마 진화 및 악한 보증과 함께 실시간 데이터웨어 하우스를 쉽게 구축 할 수 있습니다.

Lakesoul은 멀티 워크 스페이스 및 RBAC를 지원합니다. Lakesoul은 Postgres의 RBAC 및로드 레벨 보안 정책을 사용하여 메타 데이터에 대한 권한 분리를 구현합니다. Hadoop 사용자 및 그룹과 함께 물리적 데이터 격리를 얻을 수 있습니다. Lakesoul의 허가 격리는 SQL/Java/Python 작업에 효과적입니다.

Lakesoul은 자동 분리 된 압축, 자동 테이블 수명주기 유지 보수 및 자동 중복 데이터 청소를 지원하여 운영 비용을 줄이고 유용성을 향상시킵니다.

보다 자세한 기능은 문서 페이지 : 문서를 참조하십시오.

빠른 시작

빠른 시작을 따라 테스트 env를 빠르게 설정하십시오.

튜토리얼

DOC 사이트에서 자습서를 찾으십시오.

Lakesoul이 AI를 Lakehouse에 연결하여 통합 및 최신 데이터 인프라를 구축하는 방법에 대한 Lakesoul에서 Python 데이터 처리 및 AI 모델 교육의 사례.
Checkout Lakesoul Flink CDC 전체 데이터베이스 동기화 튜토리얼 전체 MySQL 데이터베이스를 Lakesoul에 실시간으로 동기화하는 방법에 대한 자동 테이블 생성, 자동 DDL 동기화 및 정확히 한 번 보증.
Flink ChangeLog 스트림 시맨틱 및로드 레벨 업 서서트 및 삭제의 지원을 통해 Flink SQL을 사용하여 배치 및 스트리밍 모드 모두에서 Lakesoul을 읽거나 쓰십시오.
Multi Stream을 합병하고 동일한 기본 키 (및 기타 다른 열)로 동시에 가입하지 않고 동시에 여러 스트림을 병합하는 방법에 대한 Wide Table 자습서를 병합하고 빌드하십시오.
데이터를 확인하고 UDF를 합병하여 UDF를 병합하여 병합 로직을 사용자 정의하는 방법에 대한 UDF 튜토리얼을 확인하십시오.
스냅 샷 읽기 (시간 여행), 스냅 샷 롤백 및 정리 방법에 대한 Snapshot API 사용법.
배치 또는 스트림 모드에서 Spark에서 증분 쿼리를 수행하는 방법에 대한 점진 쿼리 자습서 점검.

사용법 문서

DOC 사이트 : 사용법 문서에서 사용법 문서를 찾으십시오

快速开始

教程

使用文档

기능 로드맵

데이터 과학 및 AI
- 기본 파이썬 리더 (Pyspark 없음)
- Pytorch 데이터 세트 및 분산 교육
메타 관리 (#23)
- 다중 레벨 파티셔닝 : 다중 범위 파티션 및 최대 해시 파티션
- 자동 충돌 해결과 함께 동시 쓰기
- 읽기 격리 된 MVCC
- Postgres 거래를 통해 트랜잭션 (2 단계 커밋)을 작성하십시오
- 스키마 진화 : 지원 된 열 추가/삭제
테이블 작업
- 해시 파티션 테이블의 LSM-Tree 스타일 업이
- Upsert Delta 파일로 해시 파티션에 대한 읽기에 대한 병합
- 해시가 아닌 파티션 테이블에 대한 쓰기 업데이트에 복사하십시오
- 자동 분리 된 압축 서비스
데이터웨어 하우징
- 자동 DDL 동기화를 사용한 CDC 스트림 섭취
- 증분 및 스냅 샷 쿼리
  - 스냅 샷 쿼리 (#103)
  - 증분 쿼리 (#103)
  - 증분 스트리밍 소스 (#130)
  - 플링크 스트림/배치 소스
- 멀티 작업 공간 및 RBAC
스파크 통합
- 테이블/DataFrame API
- Upsert를 제외한 카탈로그를 통한 SQL 지원
- 쿼리 최적화
  - 기본 키에서 작업을위한 셔플/조인 제거
- UDF 병합 (병합 연산자)
- SQL 지원으로 병합하십시오
  - 기본 키에서 일치하여 SQL로 병합 (읽기에 병합)
  - 비 PK에서 일치하는 SQL로 병합하십시오
  - 일치 조건 및 복잡한 표현식으로 SQL로 병합 (PK에서 일치 할 때 읽기에 병합) ( #66에 따라 다름)
Flink Integration 및 CDC 섭취 (#57)
- 테이블 API
  - 배치/스트림 싱크
  - 배치/스트림 소스
  - ChangeLog 스트림 의미를위한 스트림 소스/싱크
  - 정확히 한 번 소스와 싱크
- Flink CDC
  - 자동 스키마 변경 (DDL) 동기화
  - 자동 테이블 생성 ( #78에 따라 다름)
  - 스키마가 다른 여러 소스 테이블을 지원합니다 (#84)
하이브 통합
- 압축 후 하이브 파티션으로 내보내기
- Apache Kyuubi (Hive JDBC) 통합
실시간 데이터웨어 하우징
- CDC 섭취
- 시간 여행 (스냅 샷 읽기)
- 스냅 샷 롤백
- 자동 글로벌 압축 서비스
- MPP 엔진 통합 ( #66에 따라 다름)
  - 프레스토 악장
  - 트리노
클라우드 및 기본 IO (#66)
- 객체 저장 IO 최적화
- 읽기에 대한 기본 병합
- 다층 스토리지 클래스는 데이터 계층을 지원합니다