sematic

Платформа непрерывного машинного обучения с открытым исходным кодом

Постройте трубопроводы ML только с Python, запустите на вашем ноутбуке или в облаке.

Sematic-это платформа разработки с открытым исходным кодом. Он позволяет инженерам ML и ученым данных писать произвольно сложные сквозные трубопроводы с простым Python и выполнять их на своей локальной машине, в облачной виртуальной машине или в кластере Kubernetes для использования облачных ресурсов.

Сематический основан на знаниях, собранных в лучших автомобильных компаниях. Это позволяет заданиям обработки данных цепочки (например, Apache Spark) с обучением модели (например, Pytorch, Tensorflow) или любой другой произвольной бизнес-логики Python в типовые, прослеживаемые, воспроизводимые сквозные трубопроводы, которые можно контролировать и визуализироваться в современной веб-панели.

Прочитайте нашу документацию и присоединяйтесь к нашему каналу Discord.

Почему сематическое

• Легко вступившая в действие - никакого развертывания или инфраструктуры, необходимого для начала работы, просто установите сематическое локальное и начните исследовать.
• Локальный паритет -запустите тот же код на вашем локальном ноутбуке и в кластере Kubernetes.
• Сводительная прослеживаемость -все артефакты трубопровода сохраняются, отслеживаются и визуализируются на веб-панели.
• Доступ к гетерогенному вычислению - настраивайте необходимые ресурсы для каждого шага трубопровода для оптимизации вашей производительности и облачного следа (процессоры, память, графические процессоры, кластер Spark и т. Д.)
• Воспроизводимость - повторно затроните свои трубопроводы из пользовательского интерфейса с гарантированной воспроизводимостью результатов

Начиная

Чтобы начать локально, просто установите Sematic в среде Python:

$ pip install sematic

Начните локальную веб -панель:

$ sematic start

Запустите пример трубопровода:

$ sematic run examples/mnist/pytorch

Создайте новый проект Cowerplate:

$ sematic new my_new_project

Или из существующего примера:

$ sematic new my_new_project --from examples/mnist/pytorch

Затем запустите его с:

$ python3 -m my_new_project

Чтобы развернуть Sematic для Kubernetes и использовать облачные ресурсы, см. В нашу документацию.

Функции

• Легкий Python SDK -определить произвольно сложные сквозные трубопроводы
• Гнездование трубопровода - произвольно гнездовые трубопроводы в более крупные трубопроводы
• Динамические графики -графики, определенные Python, позволяют итерации, условное ветвление и т. Д.
• Отслеживание линии - все входы и выходы всех шагов сохраняются и отслеживаются
• Проверка типа времени выполнения -сбой рано при проверке типов времени выполнения
• Веб -панель - мониторинг, отслеживать и визуализировать трубопроводы в современном веб -интерфейсе
• Визуализация артефакта - визуализируйте все входы и выходы всех шагов на веб -панели
• Локальное выполнение - запустите трубопроводы на местной машине без необходимого развертывания
• Облачная оркестровка - запустите трубопроводы на Kubernetes, чтобы получить доступ к графическим процессорам и другим облачным ресурсам
• Гетерогенные вычислительные ресурсы - запустите разные шаги на разных машинах (например, процессоры, память, графический процессор, искра и т. Д.)
• Развертывание диаграммы Helm - установите Sematic на свой кластер Kubernetes
• Повторения трубопроводов - повторные трубопроводы из пользовательского интерфейса из произвольной точки на графике
• Кэширование шага - Кэш дорогие шаги трубопровода для более быстрой итерации
• Step Retry - восстановитесь после переходных сбоев с помощью шага
• Метаданные и сотрудничество - теги, визуализация исходного кода, Docstrings, Notes и т. Д.
• Многочисленные интеграции - см. Ниже

Интеграции

• Apache Spark -по требованию в кластере Spark Cluster
• Ray -Ray Ray Ray Ray Ray Ray
• Snowflake - легко запрашивайте ваше хранилище данных (также поддерживаются другие склады)
• Столб
• Панды - визуализируйте артефакты данных на панели инструментов на приборной панели
• Grafana - встроить панели Grafana в веб -панель
• Bazel - интегрируйтесь с системой сборки Bazel
• Helm Dicart - развертывание в Kubernetes с нашим графиком Helm
• Git - отслеживать информацию GIT на веб -панели инструментов

Сообщество и ресурсы

Узнайте больше о Sematic и свяжитесь со следующими ресурсами:

• Сематическая целевая страница
• Документация
• Канал раздора
• Канал YouTube
• Наш блог

Способствовать!

Чтобы внести свой вклад в Sematic, ознакомьтесь с открытыми выпусками с меткой «Хороший первый выпуск» и свяжитесь с нами на Discord. Вы можете найти инструкции о том, как создать вашу среду разработки в наших документах разработчика. Если вы хотите добавить пример, вы также можете найти это руководство полезным.