Download do LakeSoul - Download do código fonte LakeSoul

LakeSoul

Pitão

v2.6.2

Baixar

中文介绍

O Lakesoul é uma estrutura de Lakehouse nativa em nuvem que suporta gerenciamento de metadados escaláveis, transações ácidas, operação eficiente e flexível da operação, evolução do esquema e processamento unificado de streaming e lote.

O Lakesoul suporta vários mecanismos de computação para ler e escrever dados da tabela de armazém do lago, incluindo Spark, Flink, Presto e Pytorch, e suporta vários modos de computação, como lote, fluxo, MPP e IA. O Lakesoul suporta sistemas de armazenamento como HDFs e S3.

Arco do Lakesoul

O Lakesoul foi originalmente criado pela DMetasoul Company e doado à Linux Foundation AI & Data como um projeto de sandbox desde maio de 2023.

O Lakesoul implementa o aumento incremental da linha e da coluna e permite atualizações simultâneas.

O Lakesoul usa a estrutura LSM-Tree para suportar atualizações na tabela de particionamento de hash com a chave primária e atinge a taxa de transferência de gravação muito alta, fornecendo mesclagem otimizada no desempenho de leitura (consulte os benchmarks de desempenho). O gerenciamento de metadados das escalas da lagaLes e alcança o controle de ácido usando o PostgreSQL.

O Lakesoul usa a ferrugem para implementar a camada de metadados nativos e a camada de IO e fornece interfaces c/java/python para suportar a conexão de várias estruturas de computação, como big data e IA.

O Lakesoul suporta lote simultâneo ou streaming de leitura e gravação. Tanto a leitura quanto a gravação suporta a semântica do CDC e, juntamente com a evolução do esquema automático e a garantia de exacly-ONCE, a construção de data warehouses em tempo real é facilitada.

O Lakesoul suporta Multi-Workspace e RBAC. O Lakesoul usa as políticas de segurança do RBAC e do nível de linha do Postgres para implementar o isolamento de permissão para metadados. Juntamente com usuários e grupos do Hadoop, o isolamento de dados físicos pode ser alcançado. O isolamento de permissão da Lakesoul é eficaz para trabalhos de SQL/Java/Python.

O Lakesoul suporta compactação desagregada automática, manutenção automática do ciclo de vida da tabela e limpeza automática de dados redundantes, reduzindo os custos de operação e melhorando a usabilidade.

Recursos mais detalhados, consulte nossa página do documento: documentações

Início rápido

Siga o início rápido para configurar rapidamente um teste de teste.

Tutoriais

Encontre tutoriais no site do DOC:

Exemplos de checkout de processamento de dados Python e treinamento de modelos de IA sobre o Lakesoul sobre como o Lakesoul conecta a IA a Lakehouse para construir uma infraestrutura de dados unificada e moderna.
Checkout lakesoul Flink CDC Tutorial de sincronização de banco de dados inteiro sobre como sincronizar um banco de dados MySQL inteiro em Lakesoul em tempo real, com criação de tabela automática, sincronização automática de DDL e exatamente uma vez uma garantia.
Checkout Flink SQL Uso sobre o uso do Flink SQL para ler ou escrever o lakesoul no modo de lote e streaming, com os suportes da semântica do fluxo de changlink Changelog e o upsert e excluir no nível da linha.
Confira o tutorial de fusão de fluxo múltiplo e construa um tutorial de tabela ampla sobre como mesclar vários fluxos com a mesma chave primária (e diferentes outras colunas) simultaneamente sem ingressar.
Checkout upsert dados e mescle tutorial UDF sobre como aumentar os dados e mesclar UDF para personalizar a lógica de mesclagem.
Confira o uso da API Snapshot sobre como fazer o instantâneo Leia (viagens no tempo), reversão e limpeza do instantâneo.
Tutorial de consulta incremental de check -out sobre como fazer consulta incremental em faísca no modo de lote ou fluxo.

Documentações de uso

Encontre documentações de uso no site Doc: Uso Doc

快速开始

教程

使用文档

Roteiro de recursos

Ciência de Dados e AI
- Leitor de Python nativo (sem Pyspark)
- Conjunto de dados pytorch e treinamento distribuído
Meta Management (#23)
- Partição de vários níveis: partição de vários intervalo e, no máximo, uma partição de hash
- Escreva simultânea com resolução de conflito automático
- MVCC com isolamento de leitura
- Escreva transação (comprometimento de dois estágios) através da transação do Postgres
- Evolução do esquema: coluna Adicionar/delete suportado
Operações de tabela
- LSM Tree Style Upsert para Hash particionou a tabela
- Merge em Read for Hash Partition com o arquivo Delta UpSert
- Cópia na atualização de gravação para a tabela de partição não hash
- Serviço de compactação desagregada automática
Data warehousing
- Ingestão de fluxo CDC com sincronização automática de DDL automático
- Consulta incremental e instantânea
  - Consulta de instantâneo (#103)
  - Consulta incremental (#103)
  - Fonte de streaming incremental (#130)
  - Fluk Stream/Fonte em lote
- Multi Workspaces e RBAC
Integração de faísca
- API da tabela/dataframe
- Suporte SQL com catálogo, exceto UPSERT
- Otimização da consulta
  - Shuffle/junção eliminação para operações na chave primária
- Mesclar UDF (operador de mesclagem)
- Mesclar o suporte ao SQL
  - Merge no SQL com o Match On Primary Key (Mesclar em leitura)
  - Se fundir no SQL com a partida no não-pk
  - Mespe -se no SQL com condição de correspondência e expressão complexa (mescla lida quando corresponde ao PK) (depende de #66)
Integração do Flink e Ingestão do CDC (#57)
- API da tabela
  - Pia de lote/fluxo
  - Fonte em lote/fluxo
  - Flue fonte/pia para semântica do fluxo de changelog
  - Exatamente uma vez que fonte e afunde
- Flink CDC
  - Sincronização do esquema automático (DDL)
  - Criação de mesa automática (depende de #78)
  - Suporte Sink Múltiplas tabelas de origem com diferentes esquemas (#84)
Integração da colméia
- Exportar para a partição de colméia após compactação
- Integração de Apache Kyuubi (Hive JDBC)
Data de dados em tempo real
- Ingestão do CDC
- Viagem no tempo (renda instantânea)
- Reversão de instantâneos
- Serviço automático de compactação global
- MPP Integração do motor (depende de #66)
  - Presto
  - Trino
Cloud e IO nativo (#66)
- Armazenamento de objetos Otimização de IO
- Merge nativo em leitura
- As classes de armazenamento de várias camadas suportam com a camada de dados