sematic

開源連續機器學習平台

僅使用Python，在筆記本電腦或云中構建ML管道。

Sematic是一個開源ML開發平台。它允許ML工程師和數據科學家使用簡單的Python編寫任意複雜的端到端管道，並在其本地機器，雲VM或Kubernetes群集上執行它們以利用雲資源。

Sematic基於收集在頂級自動駕駛汽車公司的學習。它可以通過模型培訓（例如Pytorch，TensorFlow）或任何其他任意的Python業務邏輯來鏈接數據處理作業（例如Apache Spark），可將可以在現代網絡儀表板中監視和可視化。

閱讀我們的文檔並加入我們的Discord頻道。

為什麼要上語義

• 輕鬆入門- 入門無需部署或基礎架構，只需在本地安裝Sematic並開始探索即可。
• 本地到雲的奇偶校驗- 在本地筆記本電腦和Kubernetes群集上運行相同的代碼。
• 端到端的可追溯性- 所有管道工件在網絡儀表板上都可以持續，跟踪和可視化。
• 訪問異質計算- 為每個管道步驟自定義所需的資源，以優化您的性能和雲足跡（CPU，內存，GPU，SPARK CLUSTER等）
• 可重複性- 從UI重新運行管道，並保證可重複性結果

入門

要在本地開始，只需在Python環境中安裝Sematic：

$ pip install sematic

啟動本地Web儀表板：

$ sematic start

運行一個示例管道：

$ sematic run examples/mnist/pytorch

創建一個新的樣板項目：

$ sematic new my_new_project

或來自現有示例：

$ sematic new my_new_project --from examples/mnist/pytorch

然後運行以下操作：

$ python3 -m my_new_project

要向Kubernetes部署語義並利用雲資源，請參見我們的文檔。

特徵

• 輕量級Python SDK - 定義任意複雜的端到端管道
• 管道嵌套- 任意將管道嵌套到較大的管道​​中
• 動態圖- Python定義的圖允許迭代，有條件的分支等。
• 譜系跟踪- 所有步驟的所有輸入和輸出均已持續和跟踪
• 運行時類型檢查- 通過運行時類型檢查儘早失敗
• 網絡儀表板- 在現代網絡UI中監視，跟踪和可視化管道
• 偽影可視化- 可視化Web儀表板中所有步驟的所有輸入和輸出
• 本地執行- 在本地計算機上運行管道無需部署而無需部署
• 雲編排- 在Kubernetes上運行管道以訪問GPU和其他雲資源
• 異構計算資源- 在不同的機器上運行不同的步驟（例如CPU，內存，GPU，Spark等）
• 掌舵圖表部署- 在您的kubernetes群集上安裝sicatic
• 管道重新運行- 從圖中的任意點從UI重新運行管道
• 步驟緩存- 緩存昂貴的管道步驟，用於更快的迭代
• 階躍重試- 從暫時恢復的瞬態失敗中恢復
• 元數據和協作- 標籤，源代碼可視化，Docstrings，Notes等。
• 許多集成- 見下文

集成

• Apache Spark - 按需群集中火花集群
• 射線- 按需射線群集射線資源
• 雪花- 輕鬆查詢您的數據倉庫（也支持其他倉庫）
• 繪圖，matplotlib - 可視化Web儀表板中的繪圖偽像
• 熊貓- 可視化儀表板中的數據框架
• Grafana - 網絡儀表板中的Grafana面板
• Bazel - 與您的Bazel Build System集成
• 掌舵圖- 使用我們的頭盔圖表部署到庫伯尼
• git - 網絡儀表板中的跟踪git信息

社區和資源

了解有關語義的更多信息，並與以下資源聯繫：

• 語義著陸頁
• 文件
• 不和諧頻道
• YouTube頻道
• 我們的博客

貢獻！

為了為語義做出貢獻，請查看標記為“良好第一期”的公開問題，並在不和諧方面與我們聯繫。您可以找到有關如何在開發人員文檔中設置開發環境的說明。如果您想添加一個示例，則可能會發現本指南有用。