neuropod

Нейропод

Что такое нейропод?

Neuropod - это библиотека, которая обеспечивает равномерный интерфейс для запуска моделей глубокого обучения из нескольких структур в C ++ и Python. Neuropod позволяет исследователям создавать модели в рамках своего выбора, а также упрощает производство этих моделей.

В настоящее время он поддерживает Tensorflow, Pytorch, TorchScript, Keras и Ludwig.

Для получения дополнительной информации:

• Uber Engineering Post внедряет Neuropod
• Разговоры в NVIDIA GTC Spring 2021

Зачем использовать нейропод?

Запустите модели из любой поддерживаемой структуры, используя один API

Запуск модели TensorFlow выглядит точно так же, как запуск модели Pytorch.

 x = np . array ([ 1 , 2 , 3 , 4 ])
y = np . array ([ 5 , 6 , 7 , 8 ])

for model_path in [ TF_ADDITION_MODEL_PATH , PYTORCH_ADDITION_MODEL_PATH ]:
    # Load the model
    neuropod = load_neuropod ( model_path )

    # Run inference
    results = neuropod . infer ({ "x" : x , "y" : y })

    # array([6, 8, 10, 12])
    print results [ "out" ]

См. Учебное пособие, руководство по Python или Guide C ++ для получения дополнительных примеров.

Некоторые преимущества этого включают:

• Весь ваш код вывода является фреймворком.
• Вы можете легко переключаться между пластами глубокого обучения, если это необходимо, не изменяя код времени выполнения.
• Избегайте кривой обучения использования API Libtorch C ++ и API C/C ++ TF

Любая модель Neuropod может быть запущена как из C ++, так и из Python (даже модели Pytorch, которые не были преобразованы в TorchScript).

Определите проблему API

Это позволяет вам больше сосредоточиться на проблеме, которую вы решаете, а не на основе, которую вы используете для ее решения.

Например, если вы определяете задачу API для обнаружения 2D -объекта, любая модель, которая реализует ее, может повторно использовать весь существующий код вывода и инфраструктуру для этой проблемы.

 INPUT_SPEC = [
    # BGR image
    { "name" : "image" , "dtype" : "uint8" , "shape" : ( 1200 , 1920 , 3 )},
]

OUTPUT_SPEC = [
    # shape: (num_detections, 4): (xmin, ymin, xmax, ymax)
    # These values are in units of pixels. The origin is the top left corner
    # with positive X to the right and positive Y towards the bottom of the image
    { "name" : "boxes" , "dtype" : "float32" , "shape" : ( "num_detections" , 4 )},

    # The list of classes that the network can output
    # This must be some subset of ['vehicle', 'person', 'motorcycle', 'bicycle']
    { "name" : "supported_object_classes" , "dtype" : "string" , "shape" : ( "num_classes" ,)},

    # The probability of each class for each detection
    # These should all be floats between 0 and 1
    { "name" : "object_class_probability" , "dtype" : "float32" , "shape" : ( "num_detections" , "num_classes" )},
]

Это позволяет вам

• Создайте один трубопровод метрик для проблемы
• Легко сравнить модели, решающие одну и ту же проблему (даже если они в разных рамках)
• Создайте оптимизированный код вывода, который может запустить любую модель, которая решает конкретную проблему
• Отменить модели, которые решают одну и ту же проблему во время выполнения без изменения кода (даже если модели из разных структур)
• Запустите быстрые эксперименты

Смотрите учебник для более подробной информации.

Создайте общие инструменты и трубопроводы

Если у вас есть несколько моделей, которые приобретают аналогичный набор входов, вы можете создавать и оптимизировать одну структуру, агрессию, и поделиться им по моделям.

Другие преимущества

• Полностью автономные модели (включая пользовательские OPS)

• Эффективные операции с нулевой копией

• Протестировано на платформах, включая

  • Mac, Linux, Linux (GPU)
  • Четыре или пять версий каждой поддерживаемой структуры
  • Пять версий Python

• Модель изоляции с казнью вне процесса процесса

  • Используйте несколько разных версий фреймворков в одном и том же приложении
    • Пример: Экспериментальные модели с использованием Torch Nightly вместе с моделями, использующими Torch 1.1.0

• Переключиться с запуска в процесс к запуску вне процесса с одной строкой кода

Начиная

См. Основное введение учебник для обзора того, как начать работу с Neuropod.

Руководство по Python и Guide C ++ подробно рассказывают о запуске моделей Neuropod.