neuropod

Neuropod

Apa itu Neuropod?

Neuropod adalah perpustakaan yang menyediakan antarmuka yang seragam untuk menjalankan model pembelajaran yang mendalam dari berbagai kerangka kerja di C ++ dan Python. Neuropod memudahkan para peneliti untuk membangun model dalam kerangka pilihan mereka sambil juga menyederhanakan produksi model ini.

Saat ini mendukung TensorFlow, Pytorch, Torchscript, Keras dan Ludwig.

Untuk informasi lebih lanjut:

• Posting blog Uber Engineering memperkenalkan neuropod
• Bicara di NVIDIA GTC Spring 2021

Mengapa Menggunakan Neuropod?

Jalankan model dari kerangka kerja yang didukung menggunakan satu API

Menjalankan model TensorFlow terlihat persis seperti menjalankan model Pytorch.

 x = np . array ([ 1 , 2 , 3 , 4 ])
y = np . array ([ 5 , 6 , 7 , 8 ])

for model_path in [ TF_ADDITION_MODEL_PATH , PYTORCH_ADDITION_MODEL_PATH ]:
    # Load the model
    neuropod = load_neuropod ( model_path )

    # Run inference
    results = neuropod . infer ({ "x" : x , "y" : y })

    # array([6, 8, 10, 12])
    print results [ "out" ]

Lihat tutorial, panduan Python, atau panduan C ++ untuk lebih banyak contoh.

Beberapa manfaatnya termasuk:

• Semua kode inferensi Anda adalah kerangka kerja agnostik.
• Anda dapat dengan mudah beralih di antara kerangka kerja pembelajaran yang mendalam jika perlu tanpa mengubah kode runtime.
• Hindari kurva belajar menggunakan API C ++ LIBTORCH dan C/C ++ TF API

Setiap model neuropoda dapat dijalankan dari C ++ dan Python (bahkan model Pytorch yang belum dikonversi menjadi Torchscript).

Tentukan API Masalah

Ini memungkinkan Anda lebih fokus pada masalah yang Anda selesaikan daripada kerangka kerja yang Anda gunakan untuk menyelesaikannya.

Misalnya, jika Anda mendefinisikan API masalah untuk deteksi objek 2D, model apa pun yang mengimplementasikannya dapat menggunakan kembali semua kode inferensi yang ada dan infrastruktur untuk masalah itu.

 INPUT_SPEC = [
    # BGR image
    { "name" : "image" , "dtype" : "uint8" , "shape" : ( 1200 , 1920 , 3 )},
]

OUTPUT_SPEC = [
    # shape: (num_detections, 4): (xmin, ymin, xmax, ymax)
    # These values are in units of pixels. The origin is the top left corner
    # with positive X to the right and positive Y towards the bottom of the image
    { "name" : "boxes" , "dtype" : "float32" , "shape" : ( "num_detections" , 4 )},

    # The list of classes that the network can output
    # This must be some subset of ['vehicle', 'person', 'motorcycle', 'bicycle']
    { "name" : "supported_object_classes" , "dtype" : "string" , "shape" : ( "num_classes" ,)},

    # The probability of each class for each detection
    # These should all be floats between 0 and 1
    { "name" : "object_class_probability" , "dtype" : "float32" , "shape" : ( "num_detections" , "num_classes" )},
]

Ini memungkinkan Anda

• Bangun pipa metrik tunggal untuk suatu masalah
• Bandingkan model yang mudah menyelesaikan masalah yang sama (bahkan jika mereka dalam kerangka kerja yang berbeda)
• Membangun kode inferensi yang dioptimalkan yang dapat menjalankan model apa pun yang memecahkan masalah tertentu
• Tukar model yang menyelesaikan masalah yang sama saat runtime tanpa perubahan kode (bahkan jika model berasal dari kerangka kerja yang berbeda)
• Jalankan eksperimen cepat

Lihat tutorial untuk detail lebih lanjut.

Bangun Alat Generik dan Jaringan

Jika Anda memiliki beberapa model yang menggunakan input yang serupa, Anda dapat membangun dan mengoptimalkan satu pipa pembuatan input-agnostik-agnostik dan membagikannya di seluruh model.

Manfaat lainnya

• Model mandiri sepenuhnya (termasuk OP khusus)

• Operasi salinan nol yang efisien

• Diuji pada platform termasuk

  • Mac, Linux, Linux (GPU)
  • Empat atau lima versi dari masing -masing kerangka yang didukung
  • Lima versi Python

• Isolasi model dengan eksekusi out-of-process

  • Gunakan beberapa versi kerangka kerja yang berbeda dalam aplikasi yang sama
    • Contoh: Model eksperimental menggunakan obor setiap malam bersama dengan model menggunakan obor 1.1.0

• Beralih dari menjalankan dalam proses ke menjalankan out-of-process dengan satu baris kode

Memulai

Lihat tutorial pengantar dasar untuk ikhtisar cara memulai dengan neuropod.

Panduan Python dan Panduan C ++ membahas lebih detail tentang menjalankan model neuropoda.