openvino

Bienvenue à OpenVino ™, une boîte à outils logiciels open source pour optimiser et déployer des modèles d'apprentissage en profondeur.

• Optimisation des inférences : augmenter les performances d'apprentissage en profondeur dans la vision par ordinateur, la reconnaissance automatique de la parole, l'IA générative, le traitement du langage naturel avec des modèles de grands et petits langues et de nombreuses autres tâches communes.
• Prise en charge du modèle flexible : utilisez des modèles formés avec des cadres populaires tels que TensorFlow, Pytorch, ONNX, Keras et Paddlepaddle. Convertir et déployer des modèles sans frameworks originaux.
• Compatibilité large de la plate-forme : réduire les demandes de ressources et déployer efficacement sur une gamme de plates-formes du bord au cloud. OpenVino ™ prend en charge l'inférence sur CPU (x86, ARM), GPU (OpenCL capable, intégré et discret) et les accélérateurs AI (Intel NPU).
• Communauté et écosystème : rejoignez une communauté active contribuant à l'amélioration des performances d'apprentissage en profondeur dans divers domaines.

Consultez la feuille de triche OpenVino pour une référence rapide.

Installation

Obtenez votre distribution préférée d'OpenVino ou utilisez cette commande pour une installation rapide:

pip install -U openvino

Vérifiez les exigences du système et les appareils pris en charge pour des informations détaillées.

Tutoriels et exemples

L'exemple OpenVino QuickStart vous guidera à travers les bases du déploiement de votre premier modèle.

Apprenez à optimiser et à déployer des modèles populaires avec les cahiers OpenVino:

• Créez un chatbot alimenté par LLM à l'aide d'OpenVino
• Optimisation de Yolov11
• Génération de texte à l'image
• Assistant multimodal avec llava et openvino
• Reconnaissance de la parole automatique à l'aide de Whisper et OpenVino

Voici des exemples de code faciles à suivre montrant comment exécuter l'inférence du modèle Pytorch et TensorFlow à l'aide d'OpenVino:

Modèle pytorch

 import openvino as ov
import torch
import torchvision

# load PyTorch model into memory
model = torch . hub . load ( "pytorch/vision" , "shufflenet_v2_x1_0" , weights = "DEFAULT" )

# convert the model into OpenVINO model
example = torch . randn ( 1 , 3 , 224 , 224 )
ov_model = ov . convert_model ( model , example_input = ( example ,))

# compile the model for CPU device
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# infer the model on random data
output = compiled_model ({ 0 : example . numpy ()})

Modèle TensorFlow

 import numpy as np
import openvino as ov
import tensorflow as tf

# load TensorFlow model into memory
model = tf . keras . applications . MobileNetV2 ( weights = 'imagenet' )

# convert the model into OpenVINO model
ov_model = ov . convert_model ( model )

# compile the model for CPU device
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# infer the model on random data
data = np . random . rand ( 1 , 224 , 224 , 3 )
output = compiled_model ({ 0 : data })

OpenVino prend également en charge les appareils CPU, GPU et NPU et fonctionne avec des modèles dans TensorFlow, Pytorch, ONNX, TensorFlow Lite, Paddlepaddle Model Formats. Avec OpenVino, vous pouvez effectuer des améliorations automatiques de performances à l'exécution personnalisées sur votre matériel (préservation de la précision du modèle), y compris: exécution asynchrone, traitement par lots, fusion du tenseur, équilibrage de charge, parallélisme d'inférence dynamique, conversion automatique BF16, etc.

Écosystème openvino

• ? Intel optimal - une interface simple pour optimiser les transformateurs et les modèles de diffuseurs.
• Framework de compression de réseau neuronal (NNCF) - techniques avancées d'optimisation du modèle, y compris la quantification, l'élagage des filtres, la binarisation et la rareté.
• REPOSTOIRE GENAI ET TOKENSERS OUVERVINO - Ressources et outils pour développer et optimiser les applications généatives d'IA.
• OpenVino ™ Model Server (OVMS) - Une solution évolutive et haute performance pour les modèles de service optimisés pour les architectures Intel.
• Intel® Geti ™ - Un outil interactif d'annotation vidéo et d'image pour les cas d'utilisation de la vision par ordinateur.

Découvrez le référentiel OpenVino impressionnant pour découvrir une collection de projets d'interstance communautaire basés sur OpenVino!

Documentation

La documentation utilisateur contient des informations détaillées sur OpenVino et vous guide de l'installation par l'optimisation et le déploiement de modèles pour vos applications d'IA.

La documentation des développeurs se concentre sur le fonctionnement des composants OpenVino et décrit les processus de construction et de contribution.

Contribution et soutien

Consultez les directives de contribution pour plus de détails. Lisez la section Good First Issues, si vous cherchez un endroit pour commencer à contribuer. Nous accueillons les contributions de toutes sortes!

Vous pouvez poser des questions et obtenir un soutien sur:

• Problèmes de github.
• Canaux OpenVino sur le serveur Intel Devhub Discord.
• La balise openvino sur le débordement de pile *.

Ressources supplémentaires

• Page de produit
• Notes de libération
• Blog OpenVino
• Boîtier à outils OpenVino ™ sur Medium

Télémétrie

OpenVino ™ recueille les données logicielles et les données d'utilisation dans le but d'améliorer les outils OpenVino ™. Ces données sont recueillies directement par OpenVino ™ ou via l'utilisation de Google Analytics 4. Vous pouvez vous désactiver à tout moment en exécutant la commande:

opt_in_out --opt_out

Plus d'informations sont disponibles chez OpenVino ™ Télémétrie.

Licence

La boîte à outils OpenVino ™ est sous licence sous la version 2.0 de la licence Apache. En contribuant au projet, vous acceptez les conditions de licence et de droit d'auteur et de publier votre contribution en vertu de ces conditions.

---

* D'autres noms et marques peuvent être revendiqués comme la propriété d'autres.