Скачать LakeSoul - Скачать исходный код LakeSoul

LakeSoul

Питон

v2.6.2

Скачать

中文介绍

Lakesoul-это облачная структура озера, которая поддерживает масштабируемое управление метаданными, кислотные транзакции, эффективную и гибкую работу повышения уровня, эволюция схемы и объединенную потоковую и партийную обработку.

Lakesoul поддерживает несколько вычислительных двигателей для чтения и записи данных таблицы склада озера, включая Spark, Flink, Presto и Pytorch, и поддерживает несколько вычислительных режимов, таких как пакет, потока, MPP и AI. Lakesoul поддерживает системы хранения, такие как HDFS и S3.

Лейксаул Арка

Lakesoul был первоначально создан Dmetasoul Company и был пожертвован в Linux Foundation AI & Data в качестве проекта песочницы с мая 2023 года.

Lakesoul реализует инкрементные подъемы как для строки, так и для столбца и позволяет одновременно обновлять.

Lakesoul использует структуру LSM-Tree, подобную структуре, для поддержки обновлений о хэш-перегородке с первичным ключом, и достигает очень высокой пропускной способности записи, обеспечивая оптимизированное слияние на производительности чтения (см. Процедуры производительности). Lakesoul масштабирует управление метаданными и достигает кислотного контроля с помощью PostgreSQL.

Lakesoul использует Rust для реализации нативного уровня метаданных и слоя ввода -вывода и предоставляет интерфейсы C/Java/Python для поддержки соединения нескольких вычислительных систем, таких как Big Data и AI.

Lakesoul поддерживает одновременную партию или потоковую чтение и запись. Как чтение, так и запись поддерживает семантику CDC, и вместе с эволюцией Auto Schema и гарантией Exactly-Conte, создание хранилищ данных в режиме реального времени сделано простым.

Lakesoul поддерживает Multi-Workspace и RBAC. Lakesoul использует Postgres RBAC и политики безопасности на уровне строк для реализации изоляции разрешений для метаданных. Вместе с пользователями Hadoop и группами можно достичь физической изоляции данных. Изоляция разрешения Lakesoul эффективна для рабочих мест SQL/Java/Python.

Lakesoul поддерживает автоматическое дезагрегированное уплотнение, автоматическое обслуживание жизненного цикла таблицы и автоматическую избыточную очистку данных, снижение затрат на эксплуатацию и улучшение удобства использования.

Более подробные функции обратитесь к нашей странице DOC: документации

Быстрый старт

Следуйте быстрому началу, чтобы быстро настроить тестовую Env.

Учебные пособия

Пожалуйста, найдите уроки на сайте DOC:

Примеры проверки обработки данных Python и обучения модели искусственного интеллекта на Lakesoul о том, как Lakesoul соединяет ИИ с Лейкхаусом для создания единой и современной инфраструктуры данных.
Оформление заказа Lakesoul Flink CDC Цельная база данных Учебник по синхронизации всей базы данных MySQL в Lakesoul в режиме реального времени, с созданием автоматической таблицы, синхронизации Auto DDL и точности, когда -то гарантируя.
Посмотрите на FLINK SQL Использование при использовании Flink SQL для чтения или записи Lakesoul в режиме партии и потоковой передачи, с поддержкой семантики потока Flink Changelog и Upsert уровня ряда.
Проверка многопотока Multi -Stream Merge и постройте учебник по широкому таблицу о том, как объединить несколько потоков с тем же первичным ключом (и разными столбцами) одновременно без соединения.
Проверка данных Upsert и Merge UDF Учебное пособие о том, как поднять данные и объединить UDF для настройки логики Merge.
Оформить использование API снимка о том, как прочитать снимки (путешествия во времени), откат снимка и очистка.
Учебное пособие по инкрементному запросу заказа о том, как выполнить инкрементный запрос в Spark в режиме партии или потока.

Использование документаций

Пожалуйста, найдите документации по использованию на сайте DOC: Документ об использовании

快速开始

教程

使用文档

Функция дорожной карты

Data Science и AI
- Нативный читатель Python (без pyspark)
- Набор данных Pytorch и распределенное обучение
Meta Management (#23)
- Разделение множественного уровня: многократный раздел и максимум один хэш -раздел
- Одновременная запись с разрешением автоматического конфликта
- MVCC с изоляцией чтения
- Написать транзакцию (двухэтапный коммит) через транзакцию Postgres
- Эволюция схемы: столбец добавить/удалить поддерживается
Таблицы операции
- LSM-Tree Style Upsert для хэш-раздел-таблицы
- Merge On Read For Hash Partition с файлом delta upsert
- Скопируйте в обновлении записи для не хеш -разделенной таблицы
- Автоматическая служба дезагрегированного уплотнения
Хранилище данных
- Проглатывание потока CDC с Sync Auto DDL
- Покрементный и моментальный запрос
  - Запрос снимка (#103)
  - Инкрементный запрос (#103)
  - Источник инкрементного потокового вещания (#130)
  - Flink Stream/Parath Source
- Многочисленные рабочие пространства и RBAC
Spark Integration
- Таблица/DataFrame API
- Поддержка SQL с каталогом, кроме Upsert
- Оптимизация запросов
  - Перетасовать/присоединиться к исключению для операций на первичном ключе
- Merge UDF (оператор слияния)
- Слияние в поддержку SQL
  - Слияние в SQL с Match On Primary Key (Merge On Read)
  - Объединиться в SQL с Match на не-PK
  - Слияние в SQL с условием совпадения и сложным выражением (слияние на чтении, когда совпадает с PK) (зависит от #66)
Интеграция Flink и проглатывание CDC (#57)
- Табличный API
  - Партия/потоковая раковина
  - Партия/источник потока
  - Источник потока/раковина для семантики потока изменений
  - Точно однажды источник и тонка
- Flink CDC
  - Синхронизация изменения схемы автоматической схемы (DDL)
  - Создание автомобильной таблицы (зависит от #78)
  - Поддержка раковины несколько исходных таблиц с разными схемами (#84)
Интеграция улей
- Экспорт в раздел улей после уплотнения
- Apache Kyuubi (Hive JDBC) интеграция
В реальном времени хранилище данных
- Проглатывание CDC
- Путешествие во времени (снимки прочтения)
- Снимок снимка
- Автоматическая служба глобального уплотнения
- Интеграция двигателя MPP (зависит от #66)
  - Престо
  - Трино
Облако и нативный io (#66)
- Оптимизация хранения объектов
- Нативное слияние на чтении
- Многослойная поддержка классов хранения с уровнем данных