sematic

开源连续机器学习平台

仅使用Python，在笔记本电脑或云中构建ML管道。

Sematic是一个开源ML开发平台。它允许ML工程师和数据科学家使用简单的Python编写任意复杂的端到端管道，并在其本地机器，云VM或Kubernetes群集上执行它们以利用云资源。

Sematic基于收集在顶级自动驾驶汽车公司的学习。它可以通过模型培训（例如Pytorch，TensorFlow）或任何其他任意的Python业务逻辑来链接数据处理作业（例如Apache Spark），可将可以在现代网络仪表板中监视和可视化。

阅读我们的文档并加入我们的Discord频道。

为什么要上语义

• 轻松入门- 入门无需部署或基础架构，只需在本地安装Sematic并开始探索即可。
• 本地到云的奇偶校验- 在本地笔记本电脑和Kubernetes群集上运行相同的代码。
• 端到端的可追溯性- 所有管道工件在网络仪表板上都可以持续，跟踪和可视化。
• 访问异质计算- 为每个管道步骤自定义所需的资源，以优化您的性能和云足迹（CPU，内存，GPU，SPARK CLUSTER等）
• 可重复性- 从UI重新运行管道，并保证可重复性结果

入门

要在本地开始，只需在Python环境中安装Sematic：

$ pip install sematic

启动本地Web仪表板：

$ sematic start

运行一个示例管道：

$ sematic run examples/mnist/pytorch

创建一个新的样板项目：

$ sematic new my_new_project

或来自现有示例：

$ sematic new my_new_project --from examples/mnist/pytorch

然后运行以下操作：

$ python3 -m my_new_project

要向Kubernetes部署语义并利用云资源，请参见我们的文档。

特征

• 轻量级Python SDK - 定义任意复杂的端到端管道
• 管道嵌套- 任意将管道嵌套到较大的管道​​中
• 动态图- Python定义的图允许迭代，有条件的分支等。
• 谱系跟踪- 所有步骤的所有输入和输出均已持续和跟踪
• 运行时类型检查- 通过运行时类型检查尽早失败
• 网络仪表板- 在现代网络UI中监视，跟踪和可视化管道
• 伪影可视化- 可视化Web仪表板中所有步骤的所有输入和输出
• 本地执行- 在本地计算机上运行管道无需部署而无需部署
• 云编排- 在Kubernetes上运行管道以访问GPU和其他云资源
• 异构计算资源- 在不同的机器上运行不同的步骤（例如CPU，内存，GPU，Spark等）
• 掌舵图表部署- 在您的kubernetes群集上安装sicatic
• 管道重新运行- 从图中的任意点从UI重新运行管道
• 步骤缓存- 缓存昂贵的管道步骤，用于更快的迭代
• 阶跃重试- 从暂时恢复的瞬态失败中恢复
• 元数据和协作- 标签，源代码可视化，Docstrings，Notes等。
• 许多集成- 见下文

集成

• Apache Spark - 按需群集中火花集群
• 射线- 按需射线群集射线资源
• 雪花- 轻松查询您的数据仓库（也支持其他仓库）
• 绘图，matplotlib - 可视化Web仪表板中的绘图伪像
• 熊猫- 可视化仪表板中的数据框架
• Grafana - 网络仪表板中的Grafana面板
• Bazel - 与您的Bazel Build System集成
• 掌舵图- 使用我们的头盔图表部署到库伯尼
• git - 网络仪表板中的跟踪git信息

社区和资源

了解有关语义的更多信息，并与以下资源联系：

• 语义着陆页
• 文档
• 不和谐频道
• YouTube频道
• 我们的博客

贡献！

为了为语义做出贡献，请查看标记为“良好第一期”的公开问题，并在不和谐方面与我们联系。您可以找到有关如何在开发人员文档中设置开发环境的说明。如果您想添加一个示例，则可能会发现本指南有用。