submarine

Was ist Apache -U -Boot?

Apache Submarine (kurz Submarine) ist eine End-to-End-Plattform für maschinelles Lernen, mit der Datenwissenschaftler End-to-End-Workflows für maschinelles Lernen erstellen können. Auf U -Boot können Datenwissenschaftler jede Stufe im ML -Modelllebenszyklus beenden, einschließlich Datenerforschung, Erstellung von Datenpipeline, Modelltraining, Servieren und Überwachung.

Warum U -Boot?

Einige Open-Source- und kommerzielle Projekte versuchen, eine End-to-End-ML-Plattform aufzubauen. Was ist die Vision von U -Boot?

Probleme

1. In vielen Plattformen fehlen benutzerfreundliche Benutzeroberflächen (API, SDK und IDE usw.)
2. In demselben Unternehmen verbringen Datenwissenschaftler in verschiedenen Teams in der Regel viel Zeit mit den Entwicklungen vorhandener Feature -Sets und -modelle.
3. Datenwissenschaftler legen Schwerpunkt auf domänenspezifischen Aufgaben (z. B. Klickrate). Sie müssen jedoch ihre Modelle mit SDKs von vorhandenen Plattformen von SDKs implementieren.
4. In vielen Plattformen fehlt eine einheitliche Workbench, um jede Komponente im ML -Lebenszyklus zu verwalten.

Theodore Levitt sagte einmal:

 “People don’t want to buy a quarter-inch drill. They want a quarter-inch hole.”

Ziele des U -Bootes

Modelltraining (Experiment)

• Führen Sie das verteilte experiment in Prem oder Cloud über die benutzerfreundliche Benutzeroberfläche/API/SDK aus/verfolgen Sie sie.
• Für Datenwissenschaftler ist es einfach, Versionen von experiment und environment zu verwalten.
• Unterstützen Sie beliebte Rahmenbedingungen für maschinelles Lernen, einschließlich TensorFlow , Pytorch , Horovod und MXNET
• Stellen Sie Datenwissenschaftler eine vordefinierte Vorlage zur Verfügung, um domänenspezifische Aufgaben einfach zu implementieren (z. B. mithilfe der DeepFM-Vorlage, um ein CTR-Vorhersagemodell zu erstellen).
• Unterstützen Sie viele Rechenressourcen (z. B. CPU und GPU usw.)
• Unterstützen Sie Kubernetes und Garn
• Pipeline befindet sich auch auf dem Rückstand, wir werden in Zukunft Pipeline für das Training prüfen.

Notebook -Service

• Submarine zielt darauf ab, einen Notebook -Service (z. B. Jupyter Notebook) anzubieten, mit dem Benutzer auf dem Cluster ausgeführte Notebook -Instanzen verwalten können.

Modellverwaltung (Servieren/Versioning/Überwachung usw.)

• Das Modellmanagement für Modellbereitungen/Versioning/Überwachung erfolgt auf der Roadmap.

Einfach zu bedienende Benutzeroberfläche

Wie oben erwähnt, versucht U-Boot , datenwissenschaftlich-freundliche Benutzeroberfläche bereitzustellen, damit Datenwissenschaftler eine gute Benutzererfahrung haben. Hier sind einige Beispiele.

Beispiel: Senden Sie ein verteiltes Tensorflow -Experiment über U -Boot Python SDK ein

Führen Sie ein Tensorflow -MNIST -Experiment durch

 # New a submarine client of the submarine server
submarine_client = submarine . ExperimentClient ( host = 'http://localhost:8080' )

# The experiment's environment, could be Docker image or Conda environment based
environment = EnvironmentSpec ( image = 'apache/submarine:tf-dist-mnist-test-1.0' )

# Specify the experiment's name, framework it's using, namespace it will run in,
# the entry point. It can also accept environment variables. etc.
# For PyTorch job, the framework should be 'Pytorch'.
experiment_meta = ExperimentMeta ( name = 'mnist-dist' ,
                                 namespace = 'default' ,
                                 framework = 'Tensorflow' ,
                                 cmd = 'python /var/tf_dist_mnist/dist_mnist.py --train_steps=100' )
# 1 PS task of 2 cpu, 1GB
ps_spec = ExperimentTaskSpec ( resources = 'cpu=2,memory=1024M' ,
                             replicas = 1 )
# 1 Worker task
worker_spec = ExperimentTaskSpec ( resources = 'cpu=2,memory=1024M' ,
                                 replicas = 1 )

# Wrap up the meta, environment and task specs into an experiment.
# For PyTorch job, the specs would be "Master" and "Worker".
experiment_spec = ExperimentSpec ( meta = experiment_meta ,
                                 environment = environment ,
                                 spec = { 'Ps' : ps_spec , 'Worker' : worker_spec })

# Submit the experiment to submarine server
experiment = submarine_client . create_experiment ( experiment_spec = experiment_spec )

# Get the experiment ID
id = experiment [ 'experimentId' ]

Fragen Sie ein bestimmtes Experiment ab

 submarine_client . get_experiment ( id )

Warten Sie auf das Ziel

 submarine_client . wait_for_finish ( id )

Holen Sie sich das Protokoll des Experiments

 submarine_client . get_log ( id )

Holen Sie sich alle laufenden Experiments

 submarine_client . list_experiments ( status = 'running' )

Für einen Schnellstart siehe U-Boot auf K8s

Beispiel: Senden Sie einen vordefinierten Versuchsvorlagenjob ein

Beispiel: Senden Sie ein Experiment per U -Boot -Benutzeroberfläche ein

(Erhältlich auf 0.5.0, siehe Roadmap)

Architektur, Design und Anforderungen

Wenn Sie mehr über Submarines Architektur, Komponenten, Anforderungen und Design-Dokument erfahren möchten, finden Sie diese in der Architektur und Erforschung

Detaillierte Entwurfsdokumentation, Implementierungsnotizen finden Sie unter: Implementierungsnotizen

Apache -U -Boot -Community

Lesen Sie den Apache -U -Boot -Community -Leitfaden

So beitragen Sie einen Beitrag zur Anleitung

Login Submarine Slack Channel: https://join.slack.com/t/asf-submarine/shared_invite

Ausgabe Tracking: https://issues.apache.org/jira/projects/submarine

Benutzerdokument

Siehe Homepage der Benutzerhandbuch

Entwicklerdokument

Siehe Developer Guide Homepage

Roadmap

Was kann man mehr darüber wissen, was für U -Boot kommt? Bitte überprüfen Sie die Roadmap Out: https://cwiki.apache.org/confluence/display/submarine/Roadmap

Changelog

Von hier aus können Sie den ChangeLog und den Ausgabe -Tracker einer verschiedenen Version von Apache Submarine kennen.

Ressourcen

Apache -U -Boot: Eine einheitliche Plattform für maschinelles Lernen, die bei Euromlsys '22 einfach gemacht wurde

Lizenz

Das Apache -U -Boot -Projekt ist unter der Apache 2.0 -Lizenz lizenziert. Weitere Informationen finden Sie in der Lizenzdatei.