openvino下載 - openvino源代碼下載

openvino

其他源碼

2024.5.0

下載

歡迎使用OpenVino™，這是一種開源軟件工具包，用於優化和部署深度學習模型。

推理優化：在計算機視覺，自動語音識別，生成的AI，具有大型和小語言模型的自然語言處理以及許多其他常見任務中，提高了深度學習績效。
靈活的模型支持：使用經過流行框架訓練的型號，例如Tensorflow，Pytorch，Onnx，Keras和PaddlePaddle。轉換和部署模型，沒有原始框架。
廣泛的平台兼容性：減少資源需求並有效地部署在從邊緣到雲的一系列平台上。 OpenVino™支持CPU（X86，ARM），GPU（OPENCL功能，集成和離散）和AI加速器（Intel NPU）的推斷。
社區和生態系統：加入一個積極的社區，為增強各個領域的深度學習績效做出貢獻。

查看OpenVino備忘單以進行快速參考。

安裝

獲取您首選的OpenVino分佈或使用此命令快速安裝：

pip install -U openvino

檢查系統要求和支持的設備以獲取詳細信息。

教程和示例

OpenVino QuickStart示例將帶您完成部署第一個模型的基礎知識。

了解如何使用OpenVino筆記本進行優化和部署流行的模型：

使用OpenVino創建一個LLM驅動的聊天機器人
Yolov11優化
文本到圖像生成
Llava和OpenVino的多模式助手
使用耳語和OpenVino自動識別語音識別

以下是易於遵循的代碼示例，演示瞭如何使用OpenVino運行Pytorch和Tensorflow模型推斷：

Pytorch模型

 import openvino as ov
import torch
import torchvision

# load PyTorch model into memory
model = torch . hub . load ( "pytorch/vision" , "shufflenet_v2_x1_0" , weights = "DEFAULT" )

# convert the model into OpenVINO model
example = torch . randn ( 1 , 3 , 224 , 224 )
ov_model = ov . convert_model ( model , example_input = ( example ,))

# compile the model for CPU device
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# infer the model on random data
output = compiled_model ({ 0 : example . numpy ()})

TensorFlow模型

 import numpy as np
import openvino as ov
import tensorflow as tf

# load TensorFlow model into memory
model = tf . keras . applications . MobileNetV2 ( weights = 'imagenet' )

# convert the model into OpenVINO model
ov_model = ov . convert_model ( model )

# compile the model for CPU device
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# infer the model on random data
data = np . random . rand ( 1 , 224 , 224 , 3 )
output = compiled_model ({ 0 : data })

OpenVino還支持CPU，GPU和NPU設備，並與Tensorflow，Pytorch，Onnx，Tensorflow Lite，PaddlePaddle模型格式的型號一起使用。借助OpenVino，您可以在自定義用於硬件的運行時進行自動性能增強功能（保留模型精度），包括：異步執行，批處理處理，張量融合，負載平衡，動態推斷並行性，自動BF16轉換等等。