neuropod

Neuropode

Qu'est-ce que le neuropode?

Neuropod est une bibliothèque qui fournit une interface uniforme pour exécuter des modèles d'apprentissage en profondeur à partir de plusieurs cadres en C ++ et Python. Le neuropod permet aux chercheurs de construire facilement des modèles dans un cadre de leur choix tout en simplifiant la production de ces modèles.

Il prend actuellement en charge TensorFlow, Pytorch, TorchScript, Keras et Ludwig.

Pour plus d'informations:

• Article de blog Uber Engineering Présentation des neuropodes
• Parler à Nvidia GTC printemps 2021

Pourquoi utiliser le neuropode?

Exécutez des modèles à partir de tout cadre pris en charge à l'aide d'une API

L'exécution d'un modèle TensorFlow ressemble exactement à l'exécution d'un modèle Pytorch.

 x = np . array ([ 1 , 2 , 3 , 4 ])
y = np . array ([ 5 , 6 , 7 , 8 ])

for model_path in [ TF_ADDITION_MODEL_PATH , PYTORCH_ADDITION_MODEL_PATH ]:
    # Load the model
    neuropod = load_neuropod ( model_path )

    # Run inference
    results = neuropod . infer ({ "x" : x , "y" : y })

    # array([6, 8, 10, 12])
    print results [ "out" ]

Voir le tutoriel, le guide Python ou le guide C ++ pour plus d'exemples.

Certains avantages de cela comprennent:

• Tout votre code d'inférence est Agnostic Framework.
• Vous pouvez facilement basculer entre les frameworks d'apprentissage en profondeur si nécessaire sans modifier le code d'exécution.
• Évitez la courbe d'apprentissage de l'utilisation de l'API C ++ LiBtorch et de l'API C / C ++ TF

Tout modèle de neuropodes peut être exécuté à la fois à C ++ et Python (même des modèles Pytorch qui n'ont pas été convertis en torchscript).

Définir une API à problème

Cela vous permet de vous concentrer davantage sur le problème que vous résolvez plutôt que sur le cadre que vous utilisez pour le résoudre.

Par exemple, si vous définissez une API à problème pour la détection d'objets 2D, tout modèle qui s'implémente peut réutiliser tout le code d'inférence existant et l'infrastructure pour ce problème.

 INPUT_SPEC = [
    # BGR image
    { "name" : "image" , "dtype" : "uint8" , "shape" : ( 1200 , 1920 , 3 )},
]

OUTPUT_SPEC = [
    # shape: (num_detections, 4): (xmin, ymin, xmax, ymax)
    # These values are in units of pixels. The origin is the top left corner
    # with positive X to the right and positive Y towards the bottom of the image
    { "name" : "boxes" , "dtype" : "float32" , "shape" : ( "num_detections" , 4 )},

    # The list of classes that the network can output
    # This must be some subset of ['vehicle', 'person', 'motorcycle', 'bicycle']
    { "name" : "supported_object_classes" , "dtype" : "string" , "shape" : ( "num_classes" ,)},

    # The probability of each class for each detection
    # These should all be floats between 0 and 1
    { "name" : "object_class_probability" , "dtype" : "float32" , "shape" : ( "num_detections" , "num_classes" )},
]

Cela vous permet

• Construisez un seul pipeline de métriques pour un problème
• Comparez facilement les modèles résolvant le même problème (même s'ils sont dans des cadres différents)
• Construire un code d'inférence optimisé qui peut exécuter n'importe quel modèle qui résout un problème particulier
• Échangez des modèles qui résolvent le même problème lors de l'exécution sans changement de code (même si les modèles proviennent de différents cadres)
• Exécutez des expériences rapides

Voir le tutoriel pour plus de détails.

Construire des outils génériques et des pipelines

Si vous avez plusieurs modèles qui adoptent un ensemble similaire d'entrées, vous pouvez créer et optimiser un pipeline de génération d'entrées de framework-agnostique et le partager sur des modèles.

Autres avantages

• Modèles entièrement autonomes (y compris les opérations personnalisées)

• Opérations efficaces de copie zéro

• Testé sur des plateformes, notamment

  • Mac, Linux, Linux (GPU)
  • Quatre ou cinq versions de chaque cadre pris en charge
  • Cinq versions de Python

• Isolement du modèle avec exécution hors de processus

  • Utilisez plusieurs versions différentes de frameworks dans la même application
    • Ex: modèles expérimentaux utilisant la torche tous les soirs avec des modèles utilisant la torche 1.1.0

• Passer de l'exécution en cours à l'exécution de l'exécution avec une ligne de code

Commencer

Voir le tutoriel d'introduction de base pour un aperçu de la façon de commencer avec le neuropod.

Le guide Python et le guide C ++ entrent plus en détail sur les modèles de neuropodes à la course.