determined

確定是一個多合一的深度學習平台，與Pytorch和Tensorflow兼容。

它需要：

• 分佈式培訓以獲得更快的結果。
• 高參數調整以獲取最佳模型。
• 削減雲GPU成本的資源管理。
• 實驗跟踪分析和可重複性。

確定的工作原理

確定的主要組成部分是Python庫，命令行接口（CLI）和Web UI。

Python圖書館

使用Python庫使您現有的Pytorch或Tensorflow代碼與確定的兼容。

您可以通過將代碼組織成基於類的API來做到這一點：

 from determined . pytorch import PyTorchTrial

class YourExperiment ( PyTorchTrial ):
  def __init__ ( self , context ):
    ...

或僅通過核心API使用您想要的功能：

 import determined as det

with det . core . init () as core_context :
    ...

命令行接口（CLI）

您可以使用CLI來：

• 在本地開始確定的群集：

 det deploy local cluster-up

• 在雲服務上確定的啟動，例如Amazon Web Services（AWS）或Google Cloud Platform（GCP）：

 det deploy aws up

• 訓練您的模型：

det experiment create gpt.yaml .

使用YAML文件配置從分佈式培訓到超參數調整的所有內容：

 resources :
  slots_per_trial : 8
  priority : 1
hyperparameters :
  learning_rate :
    type : double
    minval : .0001
    maxval : 1.0
searcher :
  name : adaptive_asha
  metric : validation_loss
  smaller_is_better : true 

Web UI

使用Web UI查看損失曲線，超參數圖，代碼和配置快照，模型註冊表，群集利用率，調試日誌，性能分析報告等。

安裝

安裝CLI：

pip install determined

然後使用det deploy在本地或AWS和GCP等雲服務上啟動確定的群集。

有關安裝詳細信息，請訪問有關環境的“群集部署指南：

• 本地（本地）
• AWS
• GCP
• Kubernetes
• slurm/pbs

例子

熟悉示例文件夾和確定示例存儲庫中的30多個示例確定。

文件

• 文件
• 快速啟動指南
• 教程：
  • Pytorch Mnist教程
  • Tensorflow keras mnist教程
• 用戶指南：
  • 核心API
  • Pytorch API
  • KERAS API
  • 深速API

社區

如果您需要幫助，想提交錯誤報告，或者只是想了解有關確定的最新消息，請加入確定的社區！

• Slack是詢問有關確定和獲得支持的問題的最佳場所。單擊此處加入我們的懈怠。
• 您也可以在YouTube和Twitter上關注我們。
• 您還可以加入社區郵件列表，詢問有關該項目的問題並接收公告。
• 要報告錯誤，請在Github上打開問題。
• 要報告安全問題，請發送電子郵件至[email protected] 。

貢獻

撰稿人指南

執照

Apache V2