openvino

Willkommen bei OpenVino ™, einem Open-Source-Software-Toolkit zum Optimieren und Bereitstellen von Deep-Learning-Modellen.

• Inferenzoptimierung : Steigern Sie die tiefe Lernleistung in Computer Vision, automatische Spracherkennung, generative KI, Verarbeitung natürlicher Sprache mit großen und kleinen Sprachmodellen und vielen anderen gemeinsamen Aufgaben.
• Flexible Modellunterstützung : Verwenden Sie Modelle, die mit beliebten Frameworks wie Tensorflow, Pytorch, ONNX, Keras und Paddlepaddle trainiert wurden. Konvertieren und Bereitstellen von Modellen ohne Original -Frameworks.
• Breite Plattformkompatibilität : Reduzieren Sie die Ressourcenanforderungen und stellen Sie effizient auf einer Reihe von Plattformen von Edge auf Cloud ein. OpenVino ™ unterstützt die Inferenz bei CPU (x86, ARM), GPU (OpenCL fähig, integriert und diskret) und AI -Beschleuniger (Intel NPU).
• Community und Ökosystem : Schließen Sie sich einer aktiven Community an, die zur Verbesserung der Tiefenlernleistung in verschiedenen Bereichen beiträgt.

Schauen Sie sich das OpenVino -Cheat -Blatt für eine kurze Referenz an.

Installation

Holen Sie sich Ihre bevorzugte Verteilung von OpenVino oder verwenden Sie diesen Befehl für die schnelle Installation:

pip install -U openvino

Überprüfen Sie die Systemanforderungen und unterstützte Geräte auf detaillierte Informationen.

Tutorials und Beispiele

OpenVino QuickStart -Beispiel führt Sie durch die Grundlagen der Bereitstellung Ihres ersten Modells.

Erfahren Sie, wie Sie beliebte Modelle mit den OpenVino -Notizbüchern optimieren und bereitstellen:

• Erstellen Sie einen LLM-Chatbot mit OpenVino
• YOLOV11 -Optimierung
• Text-to-Image-Generation
• Multimodaler Assistent bei Llava und OpenVino
• Automatische Spracherkennung mit Flüstern und OpenVino

Hier finden Sie leicht zu befolgende Code-Beispiele, die zeigen, wie Sie Pytorch- und TensorFlow-Modellinferenz mit OpenVino ausführen:

Pytorch -Modell

 import openvino as ov
import torch
import torchvision

# load PyTorch model into memory
model = torch . hub . load ( "pytorch/vision" , "shufflenet_v2_x1_0" , weights = "DEFAULT" )

# convert the model into OpenVINO model
example = torch . randn ( 1 , 3 , 224 , 224 )
ov_model = ov . convert_model ( model , example_input = ( example ,))

# compile the model for CPU device
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# infer the model on random data
output = compiled_model ({ 0 : example . numpy ()})

Tensorflow -Modell

 import numpy as np
import openvino as ov
import tensorflow as tf

# load TensorFlow model into memory
model = tf . keras . applications . MobileNetV2 ( weights = 'imagenet' )

# convert the model into OpenVINO model
ov_model = ov . convert_model ( model )

# compile the model for CPU device
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# infer the model on random data
data = np . random . rand ( 1 , 224 , 224 , 3 )
output = compiled_model ({ 0 : data })

OpenVino unterstützt auch CPU-, GPU- und NPU -Geräte und arbeitet mit Modellen in Tensorflow, Pytorch, ONNX, Tensorflow Lite, Paddlepaddle -Modellformaten. Mit OpenVino können Sie automatische Leistungsverbesserungen bei der Laufzeit durchführen, die an Ihre Hardware angepasst sind (Aufrechterhaltung der Modellgenauigkeit), einschließlich: asynchroner Ausführung, Batch -Verarbeitung, Tensorfusion, Lastausgleich, dynamische Inferenzparallelität, automatische BF16 -Konvertierung und vieles mehr.

OpenVino -Ökosystem

• ? Optimum Intel - Eine einfache Schnittstelle zur Optimierung von Transformatoren und Diffusorenmodellen.
• NNCF (Neural Network Compression Framework) - Fortgeschrittene Modelloptimierungstechniken, einschließlich Quantisierung, Filterbeschneidung, Binarisierung und Sparsity.
• Genai Repository und OpenVino -Tokenizer - Ressourcen und Tools zur Entwicklung und Optimierung generativer KI -Anwendungen.
• OpenVino ™ Model Server (OVMS) - Eine skalierbare Hochleistungslösung zum Servieren von Modellen, die für Intel -Architekturen optimiert wurden.
• Intel® Geti ™ - Ein interaktives Video- und Bildannotation -Tool für Computer Vision -Anwendungsfälle.

Schauen Sie sich das Awesome OpenVino-Repository an, um eine Sammlung von von Community hergestellten KI-Projekten zu entdecken, die auf OpenVino basieren!

Dokumentation

Die Benutzerdokumentation enthält detaillierte Informationen zu OpenVino und führt Sie von der Installation durch Optimierung und Bereitstellung von Modellen für Ihre KI -Anwendungen.

Die Entwicklerdokumentation konzentriert sich darauf, wie OpenVino -Komponenten funktionieren, und beschreibt das Erstellen und Beitragsprozesse.

Beitrag und Unterstützung

Weitere Informationen finden Sie unter den Beitragsrichtlinien. Lesen Sie den Abschnitt "Good First Issues", wenn Sie nach einem Ort suchen, an dem Sie mitmachen können. Wir begrüßen Beiträge aller Art!

Sie können Fragen stellen und Unterstützung erhalten zu:

• Github -Probleme.
• OpenVino -Kanäle auf dem Intel DevHub Discord Server.
• Das openvino -Tag auf Stack Overflow*.

Zusätzliche Ressourcen

• Produktseite
• Versionshinweise
• OpenVino -Blog
• OpenVino ™ Toolkit auf Medium

Telemetrie

OpenVino ™ sammelt Software -Leistung und Nutzungsdaten, um OpenVino ™ -Tools zu verbessern. Diese Daten werden direkt von OpenVino ™ oder über die Verwendung von Google Analytics 4 gesammelt. Sie können sich jederzeit abmelden, indem Sie den Befehl ausführen:

opt_in_out --opt_out

Weitere Informationen finden Sie bei OpenVino ™ Telemetrie.

Lizenz

OpenVino ™ Toolkit ist unter Apache -Lizenzversion 2.0 lizenziert. Durch den Beitrag zum Projekt stimmen Sie der Lizenz- und Urheberrechtsbedingungen darin zu und veröffentlichen Ihren Beitrag unter diesen Bedingungen.

---

* Andere Namen und Marken können als Eigentum anderer beansprucht werden.