Page d'accueil>Lié à la programmation>Autre code source
Télécharger

Serveur d'exécution ONNX

  • ONNX: échange de réseau neuronal ouvert
  • Le serveur Runtime ONNX est un serveur qui fournit des API REST TCP et HTTP / HTTPS pour l'inférence ONNX.
  • ONNX Runtime Server vise à fournir une inférence ML simple et haute performance et une bonne expérience de développeur.
    • Si vous avez exporté des modèles ML formés dans divers environnements en tant que fichiers ONNX, vous pouvez fournir des API d'inférence sans écrire de code ou de métadonnées supplémentaires. Placez simplement les fichiers ONNX dans la structure du répertoire.
    • Chaque session ONNX, vous pouvez choisir d'utiliser CPU ou CUDA.
    • Analysez l'entrée / sortie des modèles ONNX pour fournir des informations de type / forme pour vos collaborateurs.
    • La documentation API Swagger intégrée permet aux collaborateurs de tester facilement les modèles ML via l'API. (Exemple de l'API)
    • Images Docker prêtes à l'emploi. Aucune construction requise.
  • Créer un serveur d'exécution ONNX
    • Exigences
      • Installer ONNX Runtime
      • Installer des dépendances
    • Compiler et installer
  • Installer via un gestionnaire de packages
  • Exécuter le serveur
  • Docker
  • API
  • Comment utiliser

Créer un serveur d'exécution ONNX

Exigences

  • ONNX Runtime
  • Booster
  • CMake, PKG-Config
  • CUDA ( Facultatif, pour le support GPU NVIDIA )
  • OpenSSL ( Facultatif, pour HTTPS )

Installer ONNX Runtime

Linux

  • Utilisez le script download-onnxruntime-linux.sh
    • Ce script télécharge la dernière version du binaire et l'installation sur /usr/local/onnxruntime .
    • Aussi, add /usr/local/onnxruntime/lib à /etc/ld.so.conf.d/onnxruntime.conf et exécuter ldconfig .
  • Ou télécharger manuellement le binaire à partir des sorties d'exécution ONNX.

Mac OS 

brew install onnxruntime

Installer des dépendances

Ubuntu / Debian 

sudo apt install cmake pkg-config libboost-all-dev libssl-dev
(facultatif) Cuda Support (Cuda 12.x, Cudnn 9.x)
  • Suivez les instructions ci-dessous pour installer la boîte à outils CUDA et CUDNN.
    • Guide d'installation de la boîte à outils CUDA
    • CUDA Téléchargement pour Ubuntu 
sudo apt install cuda-toolkit-12 libcudnn9-dev-cuda-12
# optional, for Nvidia GPU support with Docker 
sudo apt install nvidia-container-toolkit

Mac OS 

brew install cmake boost openssl

Compiler et installer 

cmake -B build -S . -DCMAKE_BUILD_TYPE=Release
cmake --build build --parallel
sudo cmake --install build --prefix /usr/local/onnxruntime-server

Installer via un gestionnaire de packages

OS Méthode Commande
Arch Linux AUR yay -S onnxruntime-server

Exécuter le serveur

  • Vous devez saisir l'option de chemin ( --model-dir ) où se trouvent les modèles.
    • Les fichiers du modèle ONNX doivent être situés dans le chemin suivant: ${model_dir}/${model_name}/${model_version}/model.onnx ou ${model_dir}/${model_name}/${model_version}.onnx
Fichiers dans --model-dir Créer un corps de demande de session Get / Exécuter le chemin d'URL de l'API de session
(après créé)
model_name/model_version/model.onnx ou model_name/model_version.onnx {"model":"model_name", "version":"model_version"} /api/sessions/model_name/model_version
sample/v1/model.onnx ou sample/v1.onnx {"model":"sample", "version":"v1"} /api/sessions/sample/v1
sample/v2/model.onnx ou sample/v2.onnx {"model":"sample", "version":"v2"} /api/sessions/sample/v2
other/20200101/model.onnx ou other/20200101.onnx {"model":"other", "version":"20200101"} /api/sessions/other/20200101
  • Vous devez activer l'un des backends suivants: TCP, HTTP ou HTTPS.
    • Si vous souhaitez utiliser TCP, vous devez spécifier l'option --tcp-port .
    • Si vous souhaitez utiliser HTTP, vous devez spécifier l'option --http-port .
    • Si vous souhaitez utiliser HTTPS, vous devez spécifier les options --https-port , --https-cert et --https-key .
    • Si vous souhaitez utiliser Swagger, vous devez spécifier l'option --swagger-url-path .
  • Utilisez l'option -h , --help pour voir une liste complète des options.
  • Toutes les options peuvent être définies sous forme de variables d'environnement. Cela peut être utile lorsque vous opérez dans un conteneur comme Docker.
    • Normalement, les options de ligne de commande sont prioritaires sur les variables d'environnement, mais si la variable d'environnement ONNX_SERVER_CONFIG_PRIORITY=env , les variables d'environnement ont une priorité plus élevée. Dans une image Docker, les variables d'environnement ont une priorité plus élevée.

Options

Option Environnement Description
--workers ONNX_SERVER_WORKERS Taille de la piscine de filetage des travailleurs.
Par défaut: 4
--request-payload-limit ONNX_SERVER_REQUEST_PAYLOAD_LIMIT HTTP / HTTPS demande la limite de taille de charge utile.
Par défaut: 1024 * 1024 * 10 (10 Mo) `
--model-dir ONNX_SERVER_MODEL_DIR Chemin du répertoire modèle
Les fichiers du modèle ONNX doivent être situés dans le chemin suivant:
${model_dir}/${model_name}/${model_version}/model.onnx ou
${model_dir}/${model_name}/${model_version}.onnx
Par défaut: models
--prepare-model ONNX_SERVER_PREPARE_MODEL Pré-créez certaines sessions de modèle au démarrage du serveur.

Format comme une liste séparée de l'espace de model_name:model_version ou model_name:model_version(session_options, ...) .

Session_options disponibles sont
- cuda = device_id [ or true or false]

par exemple) model1:v1 model2:v9
model1:v1(cuda=true) model2:v9(cuda=1)

Options backend

Option Environnement Description
--tcp-port ONNX_SERVER_TCP_PORT Activez le backend TCP et le numéro de port à utiliser.
--http-port ONNX_SERVER_HTTP_PORT Activer le backend HTTP et le numéro de port à utiliser.
--https-port ONNX_SERVER_HTTPS_PORT Activer le backend HTTPS et le numéro de port à utiliser.
--https-cert ONNX_SERVER_HTTPS_CERT Chemin de fichier de certification SSL pour HTTPS
--https-key ONNX_SERVER_HTTPS_KEY Chemin de fichier de clé privé SSL pour HTTPS
--swagger-url-path ONNX_SERVER_SWAGGER_URL_PATH Activez le document API Swagger pour le backend HTTP / HTTPS.
Cette valeur ne peut pas commencer par "/ api /" et "/ santé"
Si ce n'est pas spécifié, le document de fanfaron non fourni.
par exemple) / swagger ou / api-docs

Options de journalisation

Option Environnement Description
--log-level ONNX_SERVER_LOG_LEVEL Niveau de journal (débogage, info, avertissement, erreur, mortel)
--log-file ONNX_SERVER_LOG_FILE Chemin de fichier journal.
S'il n'est pas spécifié, les journaux seront imprimés sur stdout.
--access-log-file ONNX_SERVER_ACCESS_LOG_FILE Accédez à la trajectoire du fichier journal.
S'il n'est pas spécifié, les journaux seront imprimés sur stdout.

Docker

  • Docker Hub: Kibaes / onnxruntime-server
    • 1.20.1-linux-cuda12 AMD64 (CUDA 12.X, CUDNN 9.X)
    • 1.20.1-linux-cpu AMD64, ARM64 
DOCKER_IMAGE=kibae/onnxruntime-server:1.20.1-linux-cuda12 # or kibae/onnxruntime-server:1.20.1-linux-cpu	

docker pull ${DOCKER_IMAGE}

# simple http backend
docker run --name onnxruntime_server_container -d --rm --gpus all 
  -p 80:80 
  -v " /your_model_dir:/app/models " 
  -v " /your_log_dir:/app/logs " 
  -e " ONNX_SERVER_SWAGGER_URL_PATH=/api-docs " 
  ${DOCKER_IMAGE}
  • Plus d'informations sur l'utilisation d'images Docker peuvent être trouvées ici.
    • https://hub.docker.com/r/kibaes/onnxruntime-server
  • L'exemple docker-compose.yml est disponible dans le référentiel.

API

  • API HTTP / HTTPS REST
    • La documentation de l'API (Swagger) est intégrée. Si vous voulez que le serveur serve Swagger, ajoutez l'option --swagger-url-path=/swagger/ au lancement. Ceci doit être utilisé avec l'option --http-port ou --https-port . 
      ./onnxruntime_server --model-dir=YOUR_MODEL_DIR --http-port=8080 --swagger-url-path=/api-docs/
      • Après avoir exécuté le serveur comme ci-dessus, vous pourrez accéder à l'interface utilisateur de Swagger disponible sur http://localhost:8080/api-docs/ .
    • Échantillon de fanfaronnade
  • API TCP

Comment utiliser

  • Quelques choses ont été laissées de côté pour vous aider à avoir une idée approximative du flux d'utilisation.

Exemples d'utilisation simples

Exemple de création de sessions ONNX au démarrage du serveur 

 %% {init: {
    'séquence': {'noteAlign': 'Left', 'Mirroractors': true}
}} %%
séquenchestre
    acteur A en tant qu'administrateur
    Box RVB (0, 0, 0, 0.1) "ONNX Runtime Server"
        participant SD comme disque
        Participant SP comme processus
    fin
    acteur C en tant que client
    Remarque Droit de A: Vous avez 3 modèles à servir.
    A - >> SD: Copiez les fichiers du modèle sur disque. <Br />"/var/models/model_a/v1/model.onnx"<br />"/var/models/model_a/v2/model.onnx" <br />"/var/models/model_b/202011/model.onnex "
    A - >> SP: Démarrez le serveur avec - Prépare-modèle d'option
    Activer SP
    Remarque Droits de A: onnxruntime_Server <Br /> - http-port = 8080 <br /> - Model-Path = / var / Modèles <Br /> - Prépare-Model = "Model_A: V1 (CUDA = 0) Model_A: V2 (CUDA = 0)"
    Sp - >> sd: modèle de chargement
    Remarque sur SD, SP: Modèle de chargement de <Br />"/var/models/model_a/v1/model.onnx "
    SD - >> SP: modèle binaire
    Activer SP
    SP - >> SP: Créer <br /> onnxruntime <br /> Session
    désactiver SP
    désactiver SP
    RGB RECT (100, 100, 100, 0,3)
        Remarque sur SD, C: Exécuter la session
        C - >> SP: Exécuter la demande de session
        Activer SP
        Remarque sur SP, C: Post / API / SESSIONS / MODÈLE_A / V1 <Br /> {<Br /> "x": [[1], [2], [3]], <Br /> "Y": [[2], [3], [4]], <Br /> "Z": [3], [4], [5]] <Br />}
        Activer SP
        SP - >> SP: EXECUTE <BR /> ONNXRUNTIME <BR />
        désactiver SP
        Sp - >> C: Exécuter la réponse de la session
        désactiver SP
        Remarque sur Sp, C: {<Br /> "Output": [<Br /> ·0.6492120623588562.
    fin
Chargement

Exemple de la création et de l'exécution de sessions ONNX du client 

 %% {init: {
    'séquence': {'noteAlign': 'Left', 'Mirroractors': true}
}} %%
séquenchestre
    acteur A en tant qu'administrateur
    Box RVB (0, 0, 0, 0.1) "ONNX Runtime Server"
        participant SD comme disque
        Participant SP comme processus
    fin
    acteur C en tant que client
    Remarque Droit de A: Vous avez 3 modèles à servir.
    A - >> SD: Copiez les fichiers du modèle sur disque. <Br />"/var/models/model_a/v1/model.onnx"<br />"/var/models/model_a/v2/model.onnx" <br />"/var/models/model_b/202011/model.onnex "
    A - >> sp: start serveur
    Remarque Droits de A: onnxruntime_server <br /> - http-port = 8080 <br /> - modèle-path = / var / modèles
    RGB RECT (100, 100, 100, 0,3)
        Remarque sur SD, C: Créer la session
        C - >> SP: Créer une demande de session
        Activer SP
        Remarque sur SP, C: Post / API / Sessions <Br /> {"Modèle": "Model_A", "Version": "V1"}
        Sp - >> sd: modèle de chargement
        Remarque sur SD, SP: Modèle de chargement de <Br />"/var/models/model_a/v1/model.onnx "
        SD - >> SP: modèle binaire
        Activer SP
        SP - >> SP: Créer <br /> onnxruntime <br /> Session
        désactiver SP
        Sp - >> c: créer une réponse de session
        désactiver SP
        Remarque sur sp, c: {<br /> "modèle": "Model_A", <r /> "version": "v1", <r /> "créé_at": 1694228106, <br /> "exécution_count": 0, <br /> "last_executed_at": 0, <br /> "entrées": {<br /> "x": "float32 [-1] /> "y": "float32 [-1,1]", <br /> "z": "float32 [-1,1]" <br />}, <r /> "sorties": {<br /> "output": "float32 [-1,1]" <br />} <br />}
        Remarque Droit de C :? Vous pouvez connaître le type et la forme <br /> de l'entrée et de la sortie.
    fin
    RGB RECT (100, 100, 100, 0,3)
        Remarque sur SD, C: Exécuter la session
        C - >> SP: Exécuter la demande de session
        Activer SP
        Remarque sur SP, C: Post / API / SESSIONS / MODÈLE_A / V1 <Br /> {<Br /> "x": [[1], [2], [3]], <Br /> "Y": [[2], [3], [4]], <Br /> "Z": [3], [4], [5]] <Br />}
        Activer SP
        SP - >> SP: EXECUTE <BR /> ONNXRUNTIME <BR />
        désactiver SP
        Sp - >> C: Exécuter la réponse de la session
        désactiver SP
        Remarque sur Sp, C: {<Br /> "Output": [<Br /> ·0.6492120623588562.
    fin
Chargement
Développer
Informations supplémentaires
Applications connexes
Recommandé pour vous
Actualités connexes Tout