openvino

Bienvenido a OpenVino ™, un conjunto de herramientas de software de código abierto para optimizar e implementar modelos de aprendizaje profundo.

• Optimización de inferencia : aumente el rendimiento del aprendizaje profundo en la visión por computadora, el reconocimiento automático de voz, la IA generativa, el procesamiento del lenguaje natural con modelos de idiomas grandes y pequeños y muchas otras tareas comunes.
• Soporte de modelo flexible : use modelos entrenados con marcos populares como TensorFlow, Pytorch, ONNX, Keras y Paddlepaddle. Convertir e implementar modelos sin marcos originales.
• Compatibilidad de plataforma amplia : reduzca las demandas de recursos y implementa eficientemente en una gama de plataformas desde Edge hasta Cloud. OpenVino ™ admite inferencia en CPU (X86, ARM), GPU (OpenCL Capation, Integrated and Discrety) y AI Acelerators (Intel NPU).
• Comunidad y ecosistema : únase a una comunidad activa que contribuya a la mejora del rendimiento del aprendizaje profundo en varios dominios.

Echa un vistazo a la hoja de trucos de OpenVino para una referencia rápida.

Instalación

Obtenga su distribución preferida de OpenVino o use este comando para una instalación rápida:

pip install -U openvino

Verifique los requisitos del sistema y los dispositivos compatibles para obtener información detallada.

Tutoriales y ejemplos

El ejemplo de OpenVino QuickStart lo guiará a través de los conceptos básicos de implementar su primer modelo.

Aprenda a optimizar e implementar modelos populares con los cuadernos de OpenVino:

• Crear un chatbot con alimentación de LLM usando OpenVino
• Optimización de Yolov11
• Generación de texto a imagen
• Asistente multimodal con Llava y OpenVino
• Reconocimiento de voz automático con Whisper y OpenVino

Aquí hay ejemplos de código fácil de seguir que demuestran cómo ejecutar la inferencia del modelo Pytorch y TensorFlow usando OpenVino:

Modelo de pytorch

 import openvino as ov
import torch
import torchvision

# load PyTorch model into memory
model = torch . hub . load ( "pytorch/vision" , "shufflenet_v2_x1_0" , weights = "DEFAULT" )

# convert the model into OpenVINO model
example = torch . randn ( 1 , 3 , 224 , 224 )
ov_model = ov . convert_model ( model , example_input = ( example ,))

# compile the model for CPU device
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# infer the model on random data
output = compiled_model ({ 0 : example . numpy ()})

Modelo TensorFlow

 import numpy as np
import openvino as ov
import tensorflow as tf

# load TensorFlow model into memory
model = tf . keras . applications . MobileNetV2 ( weights = 'imagenet' )

# convert the model into OpenVINO model
ov_model = ov . convert_model ( model )

# compile the model for CPU device
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# infer the model on random data
data = np . random . rand ( 1 , 224 , 224 , 3 )
output = compiled_model ({ 0 : data })

OpenVino también admite dispositivos CPU, GPU y NPU y funciona con modelos en TensorFlow, Pytorch, ONNX, Tensorflow Lite, formatos de modelo Paddlepaddle. Con OpenVino, puede realizar mejoras automáticas de rendimiento en tiempo de ejecución personalizado para su hardware (preservación de la precisión del modelo), que incluye: ejecución asíncrona, procesamiento por lotes, fusión tensor, equilibrio de carga, paralelismo de inferencia dinámica, conversión automática de BF16 y más.

Ecosistema de OpenVino

• ? Óptimo Intel: una interfaz simple para optimizar los modelos de transformadores y difusores.
• Marco de compresión de red neuronal (NNCF): técnicas avanzadas de optimización del modelo que incluyen cuantización, poda de filtros, binarización y dispersión.
• Genai Repository y OpenVino Tokenizers: recursos y herramientas para desarrollar y optimizar aplicaciones generativas de IA.
• OpenVino ™ Model Server (OVMS): una solución escalable de alto rendimiento para servir modelos optimizados para las arquitecturas Intel.
• Intel® Geti ™: una herramienta de anotación de imágenes e videos interactivos para casos de uso de visión por computadora.

¡Mira el increíble repositorio de OpenVino para descubrir una colección de proyectos de IA hechos por la comunidad basados ​​en OpenVino!

Documentación

La documentación del usuario contiene información detallada sobre OpenVino y lo guía desde la instalación a través de la optimización e implementación de modelos para sus aplicaciones de IA.

La documentación del desarrollador se centra en cómo funcionan los componentes de OpenVino y describe los procesos de construcción y contribuyentes.

Contribución y apoyo

Consulte las pautas de contribución para obtener más detalles. Lea la sección de buenos primeros números, si está buscando un lugar para comenzar a contribuir. ¡Agradecemos las contribuciones de todo tipo!

Puede hacer preguntas y obtener apoyo en:

• Problemas de GitHub.
• OpenVino canales en el servidor Intel Devhub Discord.
• La etiqueta openvino en el desbordamiento de la pila*.

Recursos adicionales

• Página de productos
• Notas de lanzamiento
• Blog de Openvino
• Kit de herramientas de OpenVino ™ en medio

Telemetría

OpenVino ™ recopila datos de rendimiento y uso del software con el fin de mejorar las herramientas de OpenVino ™. Estos datos son recopilados directamente mediante OpenVino ™ o mediante el uso de Google Analytics 4. Puede optar por no participar en cualquier momento ejecutando el comando:

opt_in_out --opt_out

Hay más información disponible en OpenVino ™ Telemetry.

Licencia

OpenVino ™ Toolkit tiene licencia bajo la licencia Apache versión 2.0. Al contribuir al proyecto, usted acepta los términos de la licencia y los derechos de autor en el mismo y divulga su contribución bajo estos Términos.

---

* Otros nombres y marcas pueden ser reclamados como propiedad de otros.