Téléchargement LakeSoul - Téléchargement du code source LakeSoul

LakeSoul

Python

v2.6.2

Télécharger

中文介绍

Lakesoul est un cadre Lakehouse natif du cloud qui prend en charge la gestion des métadonnées évolutives, les transactions acides, le fonctionnement efficace et flexible, l'évolution du schéma et le streaming unifié et le traitement par lots.

Lakesoul prend en charge plusieurs moteurs informatiques pour lire et écrire les données de la table de l'entrepôt de lac, y compris Spark, Flink, Presto et Pytorch, et prend en charge plusieurs modes informatiques tels que le lot, le flux, le MPP et l'IA. Lakesoul prend en charge les systèmes de stockage tels que les HDF et S3.

Arc de Lakesoul

Lakesoul a été créé à l'origine par Dmetasoul Company et a été donné à Linux Foundation AI & Data en tant que projet de bac à sable depuis mai 2023.

Lakesoul implémente les upsert incrémentiels pour la ligne et la colonne et permet des mises à jour simultanées.

Lakesoul utilise la structure de type LSM Tree pour soutenir les mises à jour sur la table de partitionnement de hachage avec une clé primaire, et réalise un débit d'écriture très élevé tout en fournissant une fusion optimisée sur les performances de lecture (reportez-vous à des références de performances). Lakesoul évolue la gestion des métadonnées et atteint le contrôle d'acide en utilisant PostgreSQL.

Lakesoul utilise Rust pour implémenter la couche de métadonnées natives et la couche IO, et fournit des interfaces C / Java / Python pour prendre en charge la connexion de plusieurs cadres informatiques tels que les mégadonnées et l'IA.

Lakesoul prend en charge un lot ou un streaming simultané lisez et écrivez. La lecture et l'écriture prennent en charge la sémantique CDC, et avec l'évolution du schéma automatique et la garantie exactivement-once, la construction des entrepôts de données en temps réel est facilitée.

Lakesoul prend en charge le multi-workspace et RBAC. Lakesoul utilise les politiques de sécurité RBAC et au niveau des lignes de Postgres pour mettre en œuvre l'isolement de l'autorisation pour les métadonnées. Avec les utilisateurs et les groupes de Hadoop, l'isolement physique des données peut être réalisé. L'isolement de la permission de Lakesoul est efficace pour les travaux SQL / Java / Python.

Lakesoul prend en charge le compactage désagrégé automatique, la maintenance automatique du cycle de vie de la table et le nettoyage automatique des données redondantes, la réduction des coûts de fonctionnement et l'amélioration de l'utilisabilité.

Fonctionnalités plus détaillées Veuillez vous référer à notre page DOC: documentations

Démarrage rapide

Suivez le démarrage rapide pour configurer rapidement un test de test.

Tutoriels

Veuillez trouver des tutoriels sur le site DOC:

Exemples de paiement de traitement des données Python et de formation du modèle d'IA sur Lakesoul sur la façon dont Lakesoul connectait l'IA à Lakehouse pour construire une infrastructure de données unifiée et moderne.
Vérifiez le tutoriel de synchronisation de la base de données CDC LAKESOUL FLINK FLINK sur la façon de synchroniser une base de données MySQL entière dans Lakesoul en temps réel, avec la création de table automatique, la synchronisation Auto DDL et exactement une fois la garantie.
Vérifiez l'utilisation de SQL Flink sur l'utilisation de Flink SQL pour lire ou écrire Lakesoul en mode lot et streaming, avec les prises en charge de la sémantique de flux Changelog Flink et de l'upssert au niveau des lignes et de la suppression.
Découvrez Multi Stream Merge et construire un tutoriel de table large sur la façon de fusionner plusieurs flux avec la même clé primaire (et différentes autres colonnes) simultanément sans jointure.
Découvrez les données Upsert et fusionnez le didacticiel UDF sur la façon d'améliorer les données et de fusionner UDF pour personnaliser la logique de fusion.
Vérifiez l'utilisation de l'API SNOPSHOT sur la lecture de Snapshot (voyage dans le temps), le retour et le nettoyage des instantanés.
Découvrez le didacticiel de requête incrémentielle sur la façon de faire une requête incrémentielle en mode étincelle ou flux.

Documentations d'utilisation

Veuillez trouver des documents d'utilisation dans le site du DOC: Utilisation Doc

快速开始

教程

使用文档

Caractéristique de route

Science des données et AI
- Lecteur natif Python (sans Pyspark)
- Ensemble de données Pytorch et formation distribuée
Meta Management (# 23)
- Partionnement de niveau multiple: partition multiple et tout au plus une partition de hachage
- Écriture simultanée avec la résolution des conflits automobiles
- MVCC avec l'isolement de lecture
- Écrire une transaction (engagement en deux étapes) via la transaction Postgres
- Évolution du schéma: colonne Ajouter / supprimer
Opérations de table
- Upsert de style LSM-Tree pour la table partitionnée de hachage
- Fusionner la lecture pour la partition de hachage avec un fichier delta upsert
- Copier sur la mise à jour d'écriture pour un tableau partitionné non hachage
- Service de compactage désagrégé automatique
Entreposage de données
- Ingestion de flux CDC avec synchronisation Auto DDL
- Query incrémentiel et instantané
  - Instantané Query (# 103)
  - Requête incrémentielle (# 103)
  - Source de streaming incrémentielle (# 130)
  - Stream / source de flux / lot
- Multi Workspaces et RBAC
Intégration d'étincelles
- API Table / DataFrame
- Prise en charge SQL avec catalogue sauf UPSERT
- Optimisation des requêtes
  - Remanier / joindre à l'élimination des opérations sur la clé primaire
- Fusion UDF (opérateur de fusion)
- Fusionner dans le support SQL
  - Fusionner dans SQL avec Match sur la clé primaire (fusion sur la lecture)
  - Fusionner dans SQL avec un match sur non-PK
  - Fusionner dans SQL avec la condition de correspondance et l'expression complexe (fusionner sur la lecture lorsque le match sur PK) (dépend du # 66)
Intégration de Flink et ingestion de CDC (# 57)
- API de table
  - Évier par lots / flux
  - Source par lots / flux
  - Stream Source / Évier pour la sémantique de stream de changelog
  - Exactement une fois la source et le couier
- Flink CDC
  - SYNC SCHEMA AUTO SCHEMA (DDL)
  - Création de table automatique (dépend du # 78)
  - Soutenir le puits multiples tables source avec différents schémas (# 84)
Intégration de ruche
- Exporter vers la partition de ruche après compactage
- Intégration Apache Kyuubi (Hive JDBC)
Entreposage de données en temps réel
- Ingestion du CDC
- Voyage dans le temps (lecture instantanée)
- Rollback instantané
- Service de compactage global automatique
- Intégration du moteur MPP (dépend du # 66)
  - Presto
  - Trino
Cloud et IO natif (# 66)
- Optimisation de stockage d'objets IO
- Native fusionne sur la lecture
- Les classes de stockage multicouches prennent en charge avec rythme de données