Descarga LakeSoul - Descarga del código fuente LakeSoul

LakeSoul

Pitón

v2.6.2

Descargar

中文介绍

LakeSoul es un marco de lakehouse nativo de nube que admite el manejo de metadatos escalables, transacciones ácidas, operación eficiente y flexible de Upsert, evolución de esquemas y procesamiento de transmisión y lote unificados.

LakeSoul admite múltiples motores de computación para leer y escribir datos de la tabla de almacén del lago, incluidos Spark, Flink, Presto y Pytorch, y admite múltiples modos informáticos como Batch, Stream, MPP e IA. Lakesoul admite sistemas de almacenamiento como HDFS y S3.

Arco de lago

LakeSoul fue creado originalmente por Dmeteasoul Company y fue donado a Linux Foundation AI & Data como un proyecto de Sandbox desde mayo de 2023.

Lakesoul implementa subserts incrementales para la fila y la columna y permite actualizaciones concurrentes.

LakeSoul utiliza la estructura de LSM-Tree para admitir actualizaciones en la tabla de partición hash con la clave primaria, y logra un rendimiento de escritura muy alto al tiempo que proporciona fusión optimizada en el rendimiento de lectura (consulte los puntos de referencia de rendimiento). Lakesoul escala el manejo de metadatos y logra el control de ácido mediante el uso de PostgreSQL.

LakeSoul usa Rust para implementar la capa de metadatos nativos y la capa IO, y proporciona interfaces C/Java/Python para admitir la conexión de múltiples marcos informáticos como Big Data e IA.

LakeSoul admite lotes concurrentes o transmisión de lectura y escritura. Tanto la lectura como la escritura admiten la semántica de los CDC, y junto con la evolución del esquema automotriz y la garantía excepcional, la construcción de almacenes de datos en tiempo real se facilita.

LakeSoul es compatible con Multi-Workspace y RBAC. LakeSoul utiliza las políticas de seguridad RBAC y de nivel de fila de Postgres para implementar el aislamiento de permisos para metadatos. Junto con los usuarios y grupos de Hadoop, se puede lograr el aislamiento de datos físicos. El aislamiento del permiso de Lakesoul es efectivo para los trabajos SQL/Java/Python.

LakeSoul admite compactación automática desglosada, mantenimiento automático del ciclo de vida de la tabla y limpieza automática de datos redundantes, reduciendo los costos de operación y la mejora de la usabilidad.

Características más detalladas Consulte nuestra página DOC: Documentos

Comienzo rápido

Siga el comienzo rápido para configurar rápidamente una prueba env.

Tutoriales

Encuentre tutoriales en el sitio DOC:

Vuelva a ver los ejemplos de procesamiento de datos de Python y capacitación en modelo de IA en LakesoL sobre cómo Lakesúl conecta la IA a Lakehouse para construir una infraestructura de datos unificada y moderna.
Visite Lakesoul Flink CDC Tutorial de sincronización de la base de datos completa sobre cómo sincronizar una base de datos MySQL completa en LakeSoul en tiempo real, con creación de mesa automática, sincronización Auto DDL y exactamente una vez garantizada.
Vea el uso de Flink SQL sobre el uso de Flink SQL para leer o escribir LakesoL en modo de lote y transmisión, con los soportes de semántica de flujo de flink y semántica y upsert y eliminar a nivel de fila.
Vea el tutorial de la tabla de fusión múltiple y compilación sobre cómo fusionar múltiples transmisiones con la misma clave primaria (y otras columnas) simultáneamente sin unirse.
Consulte los datos de Upsert y fusione el tutorial UDF sobre cómo aumentar los datos y fusionar UDF para personalizar la lógica de fusiones.
Consulte el uso de la API de la instantánea sobre cómo hacer una lectura de instantánea (viaje en el tiempo), reversión de instantáneas y limpieza.
Consulte el tutorial de consulta incremental sobre cómo hacer una consulta incremental en chispa en el modo de lote o transmisión.

Documentación de uso

Encuentre documentos de uso en el sitio de DOC: Uso DOC

快速开始

教程

使用文档

Hoja de ruta

Ciencia de datos e IA
- Reader nativo de Python (sin Pyspark)
- Conjunto de datos de Pytorch y capacitación distribuida
Meta gestión (#23)
- Partición de nivel múltiple: partición de rango múltiple y, como máximo, una partición hash
- Escritura concurrente con resolución de conflictos de automóviles
- MVCC con aislamiento de lectura
- Escribir transacción (confirmación de dos etapas) a través de la transacción Postgres
- Evolución del esquema: columna agregar/eliminar compatible
Operaciones de tabla
- LSM-TREE ESTYLE UPSERT para mesa dividida con hash
- Fusionar en leer para la partición hash con el archivo delta upsert
- Copiar en la actualización de escritura para la tabla dividida no hash
- Servicio automático de compactación desglosada
Almacenamiento de datos
- Ingestión de la transmisión de CDC con sincronización Auto DDL
- Consulta incremental y de instantánea
  - Consulta de instantáneas (#103)
  - Consulta incremental (#103)
  - Fuente de transmisión incremental (#130)
  - Fuente de flujo de flink/lotes
- Multi -espacios de trabajo y RBAC
Integración de chispa
- Tabla/API de DataFrame
- Soporte SQL con catálogo excepto Upsert
- Optimización de consultas
  - Eliminación de baraja/unión para las operaciones en la clave principal
- Fusionar UDF (operador de fusión)
- Fusionarse con el soporte SQL
  - Fusionarse en SQL con el partido en la clave primaria (fusionar en leer)
  - Fusionarse en SQL con Match en no PK
  - Fusionarse en SQL con condición de coincidencia y expresión compleja (fusione la lectura cuando coincida en PK) (depende del #66)
Integración de flink e ingestión de CDC (#57)
- API de tabla
  - Fregadero por lotes/transmisión
  - Fuente de lotes/transmisión
  - Fuente de transmisión/sumidero para la semántica de transmisión de ChangeLog
  - Exactamente una vez fuente y hundimiento
- Flink CDC
  - Sincronización de cambio de esquema automático (DDL)
  - Creación de mesa automática (depende del #78)
  - Support de tablas fuente de fregadero con diferentes esquemas (#84)
Integración de colmena
- Exportar a la partición de colmena después de la compactación
- Integración de Apache Kyuubi (Hive JDBC)
Almacenamiento de datos en tiempo real
- Ingestión de CDC
- Viajes en el tiempo (lectura de instantánea)
- Rollback de instantánea
- Servicio automático de compactación global
- Integración del motor MPP (depende del #66)
  - Presto
  - Trino
Nube y IO nativo (#66)
- Optimización de almacenamiento de objetos IO
- Fusionar nativa en la lectura
- Las clases de almacenamiento de múltiples capas admiten con niveles de datos