Téléchargement submarine - Téléchargement du code source submarine

submarine

Autre code source

1.0.0

Télécharger

Colored_logo_with_text

Flux de travail sous-marin Python-Sdk Workflow

Qu'est-ce que le sous-marin Apache?

Apache Submarine (Submarine for Short) est une plate-forme d'apprentissage automatique de bout en bout pour permettre aux scientifiques des données de créer des flux de travail d'apprentissage de bout en bout. Sur le sous-marin , les scientifiques des données peuvent terminer chaque étape du cycle de vie du modèle ML, y compris l'exploration des données, la création de pipelines de données, la formation, la formation et la surveillance des modèles.

Pourquoi le sous-marin?

Certains projets open-source et commerciaux tentent de créer une plate-forme ML de bout en bout. Quelle est la vision du sous-marin?

Problèmes

De nombreuses plates-formes manquent d'interfaces utilisateur faciles à utiliser (API, SDK et IDE, etc.)
Dans la même entreprise, les scientifiques des données dans différentes équipes passent généralement beaucoup de temps sur les développements des ensembles de fonctionnalités et des modèles existants.
Les scientifiques des données mettent l'accent sur les tâches spécifiques au domaine (par exemple, le taux de clics), mais ils doivent implémenter leurs modèles à partir de zéro avec les SDK fournis par les plateformes existantes.
De nombreuses plates-formes n'ont pas de travail unifié pour gérer chaque composant du cycle de vie ML.

Theodore Levitt a dit un jour:

 “People don’t want to buy a quarter-inch drill. They want a quarter-inch hole.”

Objectifs de sous-marin

Formation du modèle (expérience)

Exécuter / suivre experiment de formation distribuée sur Prem ou Cloud via l'interface utilisateur / API / SDK facile à utiliser.
Facile pour les scientifiques des données de gérer les versions de experiment et des dépendances de environment .
Prise en charge des cadres d'apprentissage automatique populaires, notamment Tensorflow , Pytorch , Horovod et Mxnet
Fournir un modèle prédéfini pour les scientifiques des données pour implémenter facilement les tâches spécifiques au domaine (par exemple en utilisant le modèle DeepFM pour créer un modèle de prédiction CTR)
Soutenez de nombreuses ressources de calcul (par exemple CPU et GPU, etc.)
Soutenir les kubernetes et le fil
Pipeline est également sur l'arriéré, nous examinerons le pipeline pour une formation à l'avenir.

Service de cahier

Submarine vise à fournir un service de carnet (par exemple Jupyter Notebook) qui permet aux utilisateurs de gérer des instances de ordinateur portable exécutées sur le cluster.

Gestion des modèles (service / versioning / surveillance, etc.)

La gestion des modèles pour le service de modèle / versioning / surveillance est sur la feuille de route.

Interface utilisateur facile à utiliser

Comme mentionné ci-dessus, Submarine tente de fournir une interface utilisateur adaptée aux données-scientifiques pour que les scientifiques des données aient une bonne expérience utilisateur. Voici quelques exemples.

Exemple: Soumettez une expérience TensorFlow distribuée via un SDK sous-marin Python

Exécutez une expérience MNIST TensorFlow

 # New a submarine client of the submarine server
submarine_client = submarine . ExperimentClient ( host = 'http://localhost:8080' )

# The experiment's environment, could be Docker image or Conda environment based
environment = EnvironmentSpec ( image = 'apache/submarine:tf-dist-mnist-test-1.0' )

# Specify the experiment's name, framework it's using, namespace it will run in,
# the entry point. It can also accept environment variables. etc.
# For PyTorch job, the framework should be 'Pytorch'.
experiment_meta = ExperimentMeta ( name = 'mnist-dist' ,
                                 namespace = 'default' ,
                                 framework = 'Tensorflow' ,
                                 cmd = 'python /var/tf_dist_mnist/dist_mnist.py --train_steps=100' )
# 1 PS task of 2 cpu, 1GB
ps_spec = ExperimentTaskSpec ( resources = 'cpu=2,memory=1024M' ,
                             replicas = 1 )
# 1 Worker task
worker_spec = ExperimentTaskSpec ( resources = 'cpu=2,memory=1024M' ,
                                 replicas = 1 )

# Wrap up the meta, environment and task specs into an experiment.
# For PyTorch job, the specs would be "Master" and "Worker".
experiment_spec = ExperimentSpec ( meta = experiment_meta ,
                                 environment = environment ,
                                 spec = { 'Ps' : ps_spec , 'Worker' : worker_spec })

# Submit the experiment to submarine server
experiment = submarine_client . create_experiment ( experiment_spec = experiment_spec )

# Get the experiment ID
id = experiment [ 'experimentId' ]

Interroger une expérience spécifique

 submarine_client . get_experiment ( id )

Attendre la finition

 submarine_client . wait_for_finish ( id )

Obtenez le journal de l'expérience

 submarine_client . get_log ( id )

Faire toute l'expérience de course

 submarine_client . list_experiments ( status = 'running' )

Pour un démarrage rapide, voir sous-marin sur K8S

Exemple: soumettre un travail de modèle d'expérience prédéfini

Exemple: soumettre une expérience via une interface utilisateur sous-marine

(Disponible sur 0.5.0, voir la feuille de route)

Architecture, conception et exigences

Si vous voulez en savoir plus sur l'architecture, les composants, les exigences et les documents de la sous-marin, ils peuvent être trouvés sur l'architecture et la demande

Documentation détaillée de conception, les notes de mise en œuvre peuvent être trouvées sur: Notes d'implémentation

Communauté sous-marine Apache

Lisez le guide communautaire sous-marin Apache

Comment contribuer le guide contributif

Connexion sous-marin Slack Channel: https://join.slack.com/t/asf-submarine/shared_invite

Suivi des problèmes: https://issues.apache.org/jira/projects/submarine

Document utilisateur

Voir la page d'accueil du guide de l'utilisateur

Document de développeur

Voir la page d'accueil du Guide du développeur

Feuille de route

Que savoir le plus sur ce qui arrive pour le sous-marin? Veuillez vérifier la feuille de route: https://cwiki.apache.org/confluence/display/submarine/roadmap