openvino

Добро пожаловать в OpenVino ™, программный набор программного обеспечения с открытым исходным кодом для оптимизации и развертывания моделей глубокого обучения.

• Оптимизация вывода : повысить производительность глубокого обучения в компьютерном зрении, автоматическое распознавание речи, генеративное ИИ, обработка естественного языка с большими и малыми языковыми моделями и многие другие общие задачи.
• Гибкая поддержка модели : используйте модели, обученные популярными рамками, такими как Tensorflow, Pytorch, Onnx, Keras и PaddlePaddle. Конвертировать и развернуть модели без оригинальных рамок.
• Широкая совместимость с платформой : уменьшить потребности в ресурсах и эффективно развернуть на ряде платформ от края до облака. OpenVino ™ поддерживает вывод на процессоре (x86, ARM), GPU (openCl, способный, интегрированный и дискретный) и акселераторов ИИ (Intel NPU).
• Сообщество и экосистема : присоединяйтесь к активному сообществу, способствуя повышению эффективности глубокого обучения в различных областях.

Проверьте шпаргалку OpenVino для быстрого использования.

Установка

Получите предпочтительное распределение OpenVino или используйте эту команду для быстрой установки:

pip install -U openvino

Проверьте системные требования и поддерживаемые устройства для получения подробной информации.

Учебные пособия и примеры

Пример OpenVino QuickStart проведет вас через основы развертывания вашей первой модели.

Узнайте, как оптимизировать и развернуть популярные модели с ноутбуками OpenVino:

• Создайте чат-бот с LLM с помощью OpenVino
• Оптимизация Yolov11
• Поколение текста до изображения
• Мультимодальный помощник в Llava и OpenVino
• Автоматическое распознавание речи с использованием Whisper и OpenVino

Вот простые в последующих примерах кода, демонстрирующие, как запустить вывод модели Pytorch и Tensorflow с использованием OpenVino:

Модель Pytorch

 import openvino as ov
import torch
import torchvision

# load PyTorch model into memory
model = torch . hub . load ( "pytorch/vision" , "shufflenet_v2_x1_0" , weights = "DEFAULT" )

# convert the model into OpenVINO model
example = torch . randn ( 1 , 3 , 224 , 224 )
ov_model = ov . convert_model ( model , example_input = ( example ,))

# compile the model for CPU device
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# infer the model on random data
output = compiled_model ({ 0 : example . numpy ()})

Tensorflow Model

 import numpy as np
import openvino as ov
import tensorflow as tf

# load TensorFlow model into memory
model = tf . keras . applications . MobileNetV2 ( weights = 'imagenet' )

# convert the model into OpenVINO model
ov_model = ov . convert_model ( model )

# compile the model for CPU device
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# infer the model on random data
data = np . random . rand ( 1 , 224 , 224 , 3 )
output = compiled_model ({ 0 : data })

OpenVino также поддерживает устройства процессора, GPU и NPU и работает с моделями в Tensorflow, Pytorch, Onnx, Tensorflow Lite, форматах модели PaddlePaddle. С помощью OpenVino вы можете выполнять автоматические улучшения производительности во время выполнения, настраиваемое на ваше оборудование (точность сохранения модели), включая: асинхронное выполнение, пакетную обработку, тензорное слияние, балансировку нагрузки, параллелизм динамического вывода, автоматическое преобразование BF16 и многое другое.

OpenVino Ecosystem

• ? Оптимальная Intel - простой интерфейс для оптимизации трансформаторов и моделей диффузоров.
• Среда сжатия нейронной сети (NNCF) - расширенные методы оптимизации модели, включая квантование, обрезку фильтра, бинаризация и разреженность.
• Репозиторий Genai и токенизаторы OpenVino - ресурсы и инструменты для разработки и оптимизации генеративных приложений искусственного интеллекта.
• OpenVino ™ Model Server (OVMS) - масштабируемое высокопроизводительное решение для обслуживания моделей, оптимизированных для архитектур Intel.
• Intel® geti ™ - интерактивный инструмент аннотации видео и изображений для вариантов использования компьютерного зрения.

Проверьте потрясающий репозиторий OpenVino, чтобы открыть коллекцию проектов искусственного интеллекта из сообщества, основанных на OpenVino!

Документация

Пользовательская документация содержит подробную информацию о OpenVino и направляет вас от установки посредством оптимизации и развертывания моделей для ваших приложений искусственного интеллекта.

Документация разработчика фокусируется на том, как работают компоненты OpenVino, и описывает процессы строительства и внесения вклад.

Вклад и поддержка

Ознакомьтесь с руководящими принципами вклада для получения более подробной информации. Прочитайте раздел «Хорошие первые выпуски», если вы ищете место, чтобы начать вносить свой вклад. Мы приветствуем вклад всех видов!

Вы можете задать вопросы и получить поддержку на:

• GitHub выпуски.
• Каналы Openvino на сервере Deplobor Intel Devhub.
• Тег openvino на переполнении стека*.

Дополнительные ресурсы

• Страница продукта
• Выпуск заметок
• Блог OpenVino
• Openvino ™ Toolkit на среднем

Телеметрия

OpenVino ™ собирает данные о производительности и использовании программного обеспечения с целью улучшения инструментов OpenVino ™. Эти данные собираются непосредственно с помощью OpenVino ™ или с помощью Google Analytics 4. Вы можете в любое время отказаться, выполнив команду:

opt_in_out --opt_out

Более подробная информация доступна в телеметрии OpenVino ™.

Лицензия

OpenVino ™ Toolkit лицензирован в соответствии с лицензией Apache версии 2.0. Внося вклад в проект, вы соглашаетесь с лицензией и условиями авторского права в нем и выпускаете свой вклад в соответствии с настоящими Условиями.

---

* Другие имена и бренды могут быть заявлены как собственность других.