determined

Bestimmt ist eine All-in-One-Deep-Learning-Plattform, die mit Pytorch und Tensorflow kompatibel ist.

Es kümmert sich um:

• Verteilter Training für schnellere Ergebnisse.
• Hyperparameter -Abstimmung zum Erhalten der besten Modelle.
• Ressourcenverwaltung zur Senkung der Cloud -GPU -Kosten.
• Experimentverfolgung zur Analyse und Reproduzierbarkeit.

Wie entschlossen funktioniert

Die Hauptkomponenten der Bestimmung sind die Python -Bibliothek, die Befehlszeilenschnittstelle (CLI) und die Web -UI.

Python Library

Verwenden Sie die Python -Bibliothek, um Ihren vorhandenen Pytorch- oder TensorFlow -Code mit fester Bestimmung kompatibel zu machen.

Sie können dies tun, indem Sie Ihren Code in einer der klassenbasierten APIs organisieren:

 from determined . pytorch import PyTorchTrial

class YourExperiment ( PyTorchTrial ):
  def __init__ ( self , context ):
    ...

Oder indem Sie nur die gewünschten Funktionen über die Kern -API verwenden:

 import determined as det

with det . core . init () as core_context :
    ...

Befehlszeilenschnittstelle (CLI)

Sie können die CLI verwenden, um:

• Starten Sie einen entschlossenen Cluster lokal:

 det deploy local cluster-up

• Start auf Cloud -Dienste wie Amazon Web Services (AWS) oder Google Cloud Platform (GCP):

 det deploy aws up

• Trainieren Sie Ihre Modelle:

det experiment create gpt.yaml .

Konfigurieren Sie alles vom verteilten Training bis zum Hyperparameter -Tuning mit YAML -Dateien:

 resources :
  slots_per_trial : 8
  priority : 1
hyperparameters :
  learning_rate :
    type : double
    minval : .0001
    maxval : 1.0
searcher :
  name : adaptive_asha
  metric : validation_loss
  smaller_is_better : true 

Web UI

Verwenden Sie die Web -Benutzeroberfläche, um Verlustkurven, Hyperparameter -Diagramme, Code- und Konfigurationsschnappschüsse, Modellregister, Clusterauslastung, Debugging -Protokolle, Performance -Profiling -Berichte und mehr anzuzeigen.

Installation

So installieren Sie die CLI:

pip install determined

Verwenden Sie dann det deploy , um den festgelegten Cluster lokal oder in Cloud -Diensten wie AWS und GCP zu starten.

Für Installationsdetails finden Sie den Cluster -Bereitstellungshandbuch für Ihre Umgebung:

• Lokal (On-Prem)
• AWS
• GCP
• Kubernetes
• Slurm/PBS

Beispiele

Machen Sie sich mit der Untersuchung der über 30 Beispiele im Beispiel-Ordner und dem entschlossenen Untersuchungen vertraut.

Dokumentation

• Dokumentation
• Schnellstarthandbuch
• Tutorials:
  • Pytorch Mnist Tutorial
  • Tensorflow Keras Mnist Tutorial
• Benutzerführer:
  • Kern -API
  • Pytorch -API
  • Keras -API
  • Deepspeed API

Gemeinschaft

Wenn Sie Hilfe benötigen, einen Fehlerbericht einreichen möchten oder nur mit den neuesten Nachrichten über festgelegt sind, treten Sie der entschlossenen Community bei!

• Slack ist der beste Ort, um Fragen zu entschlossenen und Unterstützung zu stellen. Klicken Sie hier, um unserem Slack anzuschließen.
• Sie können uns auch auf YouTube und Twitter folgen.
• Sie können sich auch der Community -Mailingliste anschließen, um Fragen zum Projekt zu stellen und Ankündigungen zu erhalten.
• Um einen Fehler zu melden, öffnen Sie ein Problem auf GitHub.
• Um ein Sicherheitsproblem zu melden, senden Sie eine E -Mail an [email protected] .

Beitragen

Leitfaden für Mitwirkende

Lizenz

Apache v2