submarine

什麼是Apache潛艇？

Apache潛艇（簡稱潛艇）是一個端到端的機器學習平台，允許數據科學家創建端到端的機器學習工作流程。在潛艇上，數據科學家可以在ML模型生命週期中完成每個階段，包括數據探索，數據管道創建，模型培訓，服務和監視。

為什麼要潛艇？

一些開源和商業項目正在嘗試建立一個端到端的ML平台。潛艇的願景是什麼？

問題

1. 許多平台缺乏易於使用的用戶界面（API，SDK和IDE等）
2. 在同一家公司中，不同團隊中的數據科學家通常會花費大量時間來開發現有功能集和模型。
3. 數據科學家將重點放在特定領域的任務（例如點擊率）上，但是他們需要使用現有平台提供的SDK從頭開始實現自己的模型。
4. 許多平台缺乏統一的工作台來管理ML生命週期中的每個組件。

西奧多·萊維特（Theodore Levitt）曾經說過：

 “People don’t want to buy a quarter-inch drill. They want a quarter-inch hole.”

潛艇的目標

模型訓練（實驗）

• 通過易於使用的UI/API/SDK在PREM或云上運行/軌道分佈式訓練experiment 。
• 數據科學家容易管理environment的experiment和依賴性版本。
• 支持流行的機器學習框架，包括Tensorflow ， Pytorch ， Horovod和Mxnet
• 為數據科學家提供預定義的模板，以輕鬆實現特定領域的任務（例如，使用DEEPFM模板來構建CTR預測模型）
• 支持許多計算資源（例如CPU和GPU等）
• 支持Kubernetes和紗線
• 管道也在積壓中，我們將研究未來的培訓管道。

筆記本服務

• 潛艇旨在提供筆記本電腦服務（例如Jupyter筆記本電腦），該服務允許用戶管理在群集上運行的筆記本實例。

模型管理（服務/版本/監視等）

• 模型服務/版本/監控的模型管理在路線圖上。

易於使用的用戶界面

如上所述，潛艇嘗試提供數據科學家友好的UI來使數據科學家具有良好的用戶體驗。這裡有一些例子。

示例：通過海底Python SDK提交分佈式張量集實驗

運行Tensorflow MNIST實驗

 # New a submarine client of the submarine server
submarine_client = submarine . ExperimentClient ( host = 'http://localhost:8080' )

# The experiment's environment, could be Docker image or Conda environment based
environment = EnvironmentSpec ( image = 'apache/submarine:tf-dist-mnist-test-1.0' )

# Specify the experiment's name, framework it's using, namespace it will run in,
# the entry point. It can also accept environment variables. etc.
# For PyTorch job, the framework should be 'Pytorch'.
experiment_meta = ExperimentMeta ( name = 'mnist-dist' ,
                                 namespace = 'default' ,
                                 framework = 'Tensorflow' ,
                                 cmd = 'python /var/tf_dist_mnist/dist_mnist.py --train_steps=100' )
# 1 PS task of 2 cpu, 1GB
ps_spec = ExperimentTaskSpec ( resources = 'cpu=2,memory=1024M' ,
                             replicas = 1 )
# 1 Worker task
worker_spec = ExperimentTaskSpec ( resources = 'cpu=2,memory=1024M' ,
                                 replicas = 1 )

# Wrap up the meta, environment and task specs into an experiment.
# For PyTorch job, the specs would be "Master" and "Worker".
experiment_spec = ExperimentSpec ( meta = experiment_meta ,
                                 environment = environment ,
                                 spec = { 'Ps' : ps_spec , 'Worker' : worker_spec })

# Submit the experiment to submarine server
experiment = submarine_client . create_experiment ( experiment_spec = experiment_spec )

# Get the experiment ID
id = experiment [ 'experimentId' ]

查詢特定的實驗

 submarine_client . get_experiment ( id )

等待完成

 submarine_client . wait_for_finish ( id )

獲取實驗的日誌

 submarine_client . get_log ( id )

進行所有運行實驗

 submarine_client . list_experiments ( status = 'running' )

有關快速啟動，請參閱K8S上的潛艇

示例：提交預定義的實驗模板作業

示例：通過潛艇UI提交實驗

（在0.5.0上可用，請參見路線圖）

建築，設計和要求

如果您想進一步了解潛艇的架構，組件，需求和設計文檔，可以在架構和要求上找到它們

詳細的設計文檔，實施註釋，請參見：實施說明

Apache潛艇社區

閱讀Apache潛艇社區指南

如何貢獻指南

登錄潛艇休閒頻道：https：//join.slack.com/t/asf-submarine/shared_invite

問題跟踪：https：//issues.apache.org/jira/projects/submarine

用戶文檔

查看用戶指南主頁

開發人員文檔

請參閱開發人員指南主頁

路線圖

關於潛艇的進一步了解更多？請檢查路線圖：https：//cwiki.apache.org/confluence/display/submarine/roadmap

ChangElog

從這裡開始，您可以知道不同版本的Apache潛艇的ChangElog和問題跟踪器。

資源

Apache潛艇：統一的機器學習平台在Euromlsys '22上簡單

執照

Apache潛艇項目是根據Apache 2.0許可證獲得許可的。有關詳細信息，請參見許可證文件。