determined

确定是一个多合一的深度学习平台，与Pytorch和Tensorflow兼容。

它需要：

• 分布式培训以获得更快的结果。
• 高参数调整以获取最佳模型。
• 削减云GPU成本的资源管理。
• 实验跟踪分析和可重复性。

确定的工作原理

确定的主要组成部分是Python库，命令行接口（CLI）和Web UI。

Python图书馆

使用Python库使您现有的Pytorch或Tensorflow代码与确定的兼容。

您可以通过将代码组织成基于类的API来做到这一点：

 from determined . pytorch import PyTorchTrial

class YourExperiment ( PyTorchTrial ):
  def __init__ ( self , context ):
    ...

或仅通过核心API使用您想要的功能：

 import determined as det

with det . core . init () as core_context :
    ...

命令行接口（CLI）

您可以使用CLI来：

• 在本地开始确定的群集：

 det deploy local cluster-up

• 在云服务上确定的启动，例如Amazon Web Services（AWS）或Google Cloud Platform（GCP）：

 det deploy aws up

• 训练您的模型：

det experiment create gpt.yaml .

使用YAML文件配置从分布式培训到超参数调整的所有内容：

 resources :
  slots_per_trial : 8
  priority : 1
hyperparameters :
  learning_rate :
    type : double
    minval : .0001
    maxval : 1.0
searcher :
  name : adaptive_asha
  metric : validation_loss
  smaller_is_better : true 

Web UI

使用Web UI查看损失曲线，超参数图，代码和配置快照，模型注册表，群集利用率，调试日志，性能分析报告等。

安装

安装CLI：

pip install determined

然后使用det deploy在本地或AWS和GCP等云服务上启动确定的群集。

有关安装详细信息，请访问有关环境的“群集部署指南：

• 本地（本地）
• AWS
• GCP
• Kubernetes
• slurm/pbs

例子

熟悉示例文件夹和确定示例存储库中的30多个示例确定。

文档

• 文档
• 快速启动指南
• 教程：
  • Pytorch Mnist教程
  • Tensorflow keras mnist教程
• 用户指南：
  • 核心API
  • Pytorch API
  • KERAS API
  • 深速API

社区

如果您需要帮助，想提交错误报告，或者只是想了解有关确定的最新消息，请加入确定的社区！

• Slack是询问有关确定和获得支持的问题的最佳场所。单击此处加入我们的懈怠。
• 您也可以在YouTube和Twitter上关注我们。
• 您还可以加入社区邮件列表，询问有关该项目的问题并接收公告。
• 要报告错误，请在Github上打开问题。
• 要报告安全问题，请发送电子邮件至[email protected] 。

贡献

撰稿人指南

执照

Apache V2