openvino

Welcome to OpenVino ™, um kit de ferramentas de software de código aberto para otimizar e implantar modelos de aprendizado profundo.

• Otimização de inferência : Aumente o desempenho do aprendizado profundo na visão computacional, reconhecimento automático de fala, IA generativa, processamento de linguagem natural com modelos de idiomas grandes e pequenos e muitas outras tarefas comuns.
• Suporte ao modelo flexível : use modelos treinados com estruturas populares como Tensorflow, Pytorch, Onnx, Keras e Paddlepaddle. Converta e implante modelos sem estruturas originais.
• Compatibilidade ampla da plataforma : reduza as demandas de recursos e implante com eficiência em uma variedade de plataformas de borda à nuvem. O OpenVino ™ suporta inferência na CPU (X86, ARM), GPU (OpenCL capaz, integrado e discreto) e aceleradores de IA (Intel NPU).
• Comunidade e ecossistema : junte -se a uma comunidade ativa que contribui para o aprimoramento do desempenho do aprendizado profundo em vários domínios.

Confira a folha de dicas do Openvino para obter uma referência rápida.

Instalação

Obtenha sua distribuição preferida do OpenVino ou use este comando para instalação rápida:

pip install -U openvino

Verifique os requisitos do sistema e os dispositivos suportados para obter informações detalhadas.

Tutoriais e exemplos

O exemplo rápido do OpenVino Quickstart o levará pelo básico da implantação do seu primeiro modelo.

Aprenda a otimizar e implantar modelos populares com os notebooks Openvino:

• Crie um chatbot movido a LLM usando o Openvino
• Otimização de Yolov11
• Geração de texto para imagem
• Assistente multimodal com llava e openvino
• Reconhecimento automático de fala usando sussurro e openvino

Aqui estão exemplos de código fáceis de seguir, demonstrando como executar a inferência do modelo Pytorch e Tensorflow usando o OpenVino:

Modelo Pytorch

 import openvino as ov
import torch
import torchvision

# load PyTorch model into memory
model = torch . hub . load ( "pytorch/vision" , "shufflenet_v2_x1_0" , weights = "DEFAULT" )

# convert the model into OpenVINO model
example = torch . randn ( 1 , 3 , 224 , 224 )
ov_model = ov . convert_model ( model , example_input = ( example ,))

# compile the model for CPU device
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# infer the model on random data
output = compiled_model ({ 0 : example . numpy ()})

Modelo Tensorflow

 import numpy as np
import openvino as ov
import tensorflow as tf

# load TensorFlow model into memory
model = tf . keras . applications . MobileNetV2 ( weights = 'imagenet' )

# convert the model into OpenVINO model
ov_model = ov . convert_model ( model )

# compile the model for CPU device
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# infer the model on random data
data = np . random . rand ( 1 , 224 , 224 , 3 )
output = compiled_model ({ 0 : data })

O OpenVino também suporta dispositivos de CPU, GPU e NPU e trabalha com modelos em formatos de modelo Tensorflow, pytorch, ONNX, tensorflow lite, paddlepddle. Com o OpenVino, você pode fazer aprimoramentos automáticos de desempenho no tempo de execução personalizados para o seu hardware (preservando a precisão do modelo), incluindo: execução assíncrona, processamento em lote, fusão tensor, balanceamento de carga, paralelismo de inferência dinâmica, conversão automática de BF16 e muito mais.

Ecossistema OpenVino

• ? Intel ideal - uma interface simples para otimizar modelos de transformadores e difusores.
• Estrutura de Compressão de Rede Neural (NNCF) - Técnicas avançadas de otimização de modelos, incluindo quantização, poda de filtro, binarização e esparsidade.
• Tokenizadores de repositório Genai e OpenVino - Recursos e ferramentas para desenvolver e otimizar aplicativos generativos de IA.
• OpenVino ™ Model Server (OVMS) - Uma solução escalável e de alto desempenho para servir modelos otimizados para arquiteturas Intel.
• Intel® Geti ™ - Uma ferramenta de anotação de vídeo e imagem interativa para casos de uso da visão por computador.

Confira o incrível repositório Openvino para descobrir uma coleção de projetos de IA criados pela comunidade baseados no OpenVino!

Documentação

A documentação do usuário contém informações detalhadas sobre o OpenVino e o guia da instalação através da otimização e implantação de modelos para seus aplicativos de IA.

A documentação do desenvolvedor se concentra em como os componentes do OpenVino funcionam e descreve os processos de construção e contribuição.

Contribuição e suporte

Confira as diretrizes de contribuição para obter mais detalhes. Leia a seção Boas primeiras questões, se você estiver procurando um lugar para começar a contribuir. Congratulamo -nos com contribuições de todos os tipos!

Você pode fazer perguntas e obter suporte em:

• Questões do Github.
• Openvino canais no servidor Intel DevHub Discord.
• A tag openvino no excesso de pilha*.

Recursos adicionais

• Página do produto
• Notas de liberação
• Blog Openvino
• OpenVino ™ Toolkit no meio

Telemetria

O OpenVino ™ coleta dados de desempenho e uso de software com o objetivo de melhorar as ferramentas OpenVino ™. Esses dados são coletados diretamente pelo OpenVino ™ ou através do uso do Google Analytics 4. Você pode optar por não participar a qualquer momento executando o comando:

opt_in_out --opt_out

Mais informações estão disponíveis na Telemetria Openvino ™.

Licença

O OpenVino ™ Toolkit está licenciado no Apache License versão 2.0. Ao contribuir para o projeto, você concorda com os termos de licença e direitos autorais e libera sua contribuição sob estes Termos.

---

* Outros nomes e marcas podem ser reivindicados como propriedade de outros.