openvino

欢迎使用OpenVino™，这是一种开源软件工具包，用于优化和部署深度学习模型。

• 推理优化：在计算机视觉，自动语音识别，生成的AI，具有大型和小语言模型的自然语言处理以及许多其他常见任务中，提高了深度学习绩效。
• 灵活的模型支持：使用经过流行框架训练的型号，例如Tensorflow，Pytorch，Onnx，Keras和PaddlePaddle。转换和部署模型，没有原始框架。
• 广泛的平台兼容性：减少资源需求并有效地部署在从边缘到云的一系列平台上。 OpenVino™支持CPU（X86，ARM），GPU（OPENCL功能，集成和离散）和AI加速器（Intel NPU）的推断。
• 社区和生态系统：加入一个积极的社区，为增强各个领域的深度学习绩效做出贡献。

查看OpenVino备忘单以进行快速参考。

安装

获取您首选的OpenVino分布或使用此命令快速安装：

pip install -U openvino

检查系统要求和支持的设备以获取详细信息。

教程和示例

OpenVino QuickStart示例将带您完成部署第一个模型的基础知识。

了解如何使用OpenVino笔记本进行优化和部署流行的模型：

• 使用OpenVino创建一个LLM驱动的聊天机器人
• Yolov11优化
• 文本到图像生成
• Llava和OpenVino的多模式助手
• 使用耳语和OpenVino自动识别语音识别

以下是易于遵循的代码示例，演示了如何使用OpenVino运行Pytorch和Tensorflow模型推断：

Pytorch模型

 import openvino as ov
import torch
import torchvision

# load PyTorch model into memory
model = torch . hub . load ( "pytorch/vision" , "shufflenet_v2_x1_0" , weights = "DEFAULT" )

# convert the model into OpenVINO model
example = torch . randn ( 1 , 3 , 224 , 224 )
ov_model = ov . convert_model ( model , example_input = ( example ,))

# compile the model for CPU device
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# infer the model on random data
output = compiled_model ({ 0 : example . numpy ()})

TensorFlow模型

 import numpy as np
import openvino as ov
import tensorflow as tf

# load TensorFlow model into memory
model = tf . keras . applications . MobileNetV2 ( weights = 'imagenet' )

# convert the model into OpenVINO model
ov_model = ov . convert_model ( model )

# compile the model for CPU device
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# infer the model on random data
data = np . random . rand ( 1 , 224 , 224 , 3 )
output = compiled_model ({ 0 : data })

OpenVino还支持CPU，GPU和NPU设备，并与Tensorflow，Pytorch，Onnx，Tensorflow Lite，PaddlePaddle模型格式的型号一起使用。借助OpenVino，您可以在自定义用于硬件的运行时进行自动性能增强功能（保留模型精度），包括：异步执行，批处理处理，张量融合，负载平衡，动态推断并行性，自动BF16转换等等。

OpenVino生态系统

• 最佳英特尔 - 一个简单的接口，可优化变形金刚和扩散器模型。
• 神经网络压缩框架（NNCF） - 高级模型优化技术，包括量化，过滤修剪，二进制和稀疏性。
• Genai存储库和OpenVino Tokenizers-用于开发和优化生成AI应用程序的资源和工具。
• OpenVino™Model Server（OVMS） - 用于为Intel Architectures优化的模型提供可扩展的高性能解决方案。
• Intel®GETI™ - 用于计算机视觉用例的交互式视频和图像注释工具。

查看Awesome OpenVino存储库，以发现基于OpenVino的社区制造的AI项目的集合！

文档

用户文档包含有关OpenVino的详细信息，并通过优化和部署AI应用程序来指导您安装。

开发人员文档的重点是OpenVino组件的工作方式，并描述了构建和贡献过程。

贡献和支持

查看贡献指南以获取更多详细信息。如果您正在寻找一个开始贡献的地方，请阅读良好的第一个问题部分。我们欢迎各种贡献！

您可以提出问题并获得支持：

• Github问题。
• OpenVino在Intel DevHub Discord服务器上通道。
• 堆栈溢出*上的openvino标签*。

其他资源

• 产品页面
• 发行说明
• OpenVino博客
• OpenVino™工具包

遥测

OpenVino™收集软件性能和使用数据，以改善OpenVino™工具。此数据是通过OpenVino™直接收集的，也可以通过使用Google Analytics（Analytics 4）收集。您可以随时运行命令：

opt_in_out --opt_out

请访问更多信息，请访问OpenVino™遥测。

执照

OpenVino™工具包已在Apache许可证2.0版下获得许可。通过为该项目做出贡献，您同意其中的许可和版权条款，并根据这些条款发布您的贡献。

---

*其他名称和品牌可能被称为他人的财产。