openvino

Selamat datang di OpenVino ™, perangkat perangkat lunak open-source untuk mengoptimalkan dan menggunakan model pembelajaran yang mendalam.

• Optimalisasi Inferensi : Meningkatkan kinerja pembelajaran yang mendalam dalam visi komputer, pengenalan ucapan otomatis, AI generatif, pemrosesan bahasa alami dengan model bahasa besar dan kecil, dan banyak tugas umum lainnya.
• Dukungan Model Fleksibel : Gunakan model yang dilatih dengan kerangka kerja populer seperti TensorFlow, Pytorch, Onnx, Keras, dan Paddlepaddle. Konversi dan menggunakan model tanpa kerangka kerja asli.
• Kompatibilitas platform yang luas : Mengurangi permintaan sumber daya dan menggunakan secara efisien pada berbagai platform dari tepi ke cloud. OpenVino ™ mendukung inferensi pada CPU (x86, ARM), GPU (OpenCL yang mampu, terintegrasi dan diskrit) dan akselerator AI (Intel NPU).
• Komunitas dan Ekosistem : Bergabunglah dengan komunitas aktif yang berkontribusi pada peningkatan kinerja pembelajaran yang mendalam di berbagai domain.

Lihat lembar cheat OpenVino untuk referensi cepat.

Instalasi

Dapatkan distribusi openvino yang Anda sukai atau gunakan perintah ini untuk instalasi cepat:

pip install -U openvino

Periksa persyaratan sistem dan perangkat yang didukung untuk informasi terperinci.

Tutorial dan contoh

Contoh OpenVino QuickStart akan memandu Anda melalui dasar -dasar menggunakan model pertama Anda.

Pelajari cara mengoptimalkan dan menggunakan model populer dengan OpenVino Notebooks:

• Buat chatbot bertenaga LLM menggunakan OpenVino
• Optimalisasi Yolov11
• Generasi teks-ke-gambar
• Asisten Multimodal dengan Llava dan OpenVino
• Pengenalan ucapan otomatis menggunakan Whisper dan OpenVino

Berikut adalah contoh kode yang mudah diikuti yang menunjukkan cara menjalankan inferensi model Pytorch dan TensorFlow menggunakan OpenVino:

Model Pytorch

 import openvino as ov
import torch
import torchvision

# load PyTorch model into memory
model = torch . hub . load ( "pytorch/vision" , "shufflenet_v2_x1_0" , weights = "DEFAULT" )

# convert the model into OpenVINO model
example = torch . randn ( 1 , 3 , 224 , 224 )
ov_model = ov . convert_model ( model , example_input = ( example ,))

# compile the model for CPU device
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# infer the model on random data
output = compiled_model ({ 0 : example . numpy ()})

Model TensorFlow

 import numpy as np
import openvino as ov
import tensorflow as tf

# load TensorFlow model into memory
model = tf . keras . applications . MobileNetV2 ( weights = 'imagenet' )

# convert the model into OpenVINO model
ov_model = ov . convert_model ( model )

# compile the model for CPU device
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# infer the model on random data
data = np . random . rand ( 1 , 224 , 224 , 3 )
output = compiled_model ({ 0 : data })

OpenVino juga mendukung perangkat CPU, GPU, dan NPU dan bekerja dengan model di TensorFlow, Pytorch, Onnx, Tensorflow Lite, format model Paddlepaddle. Dengan OpenVino Anda dapat melakukan peningkatan kinerja otomatis pada runtime yang disesuaikan dengan perangkat keras Anda (pelestarian model akurasi), termasuk: eksekusi asinkron, pemrosesan batch, fusi tensor, penyeimbangan beban, paralelisme inferensi dinamis, konversi BF16 otomatis, dan banyak lagi.

Ekosistem Openvino

• ? Intel optimal - Antarmuka sederhana untuk mengoptimalkan model transformer dan diffusers.
• Neural Network Compression Framework (NNCF) - Teknik optimisasi model canggih termasuk kuantisasi, pemangkasan filter, binarisasi, dan sparsity.
• Genai Repository dan OpenVino Tokenizer - Sumber Daya dan Alat untuk Mengembangkan dan Mengoptimalkan Aplikasi AI Generatif.
• OpenVino ™ Model Server (OVMS) - Solusi yang dapat diskalakan dan berkinerja tinggi untuk menyajikan model yang dioptimalkan untuk arsitektur intel.
• Intel® Geti ™ - Alat anotasi video dan gambar interaktif untuk kasus penggunaan visi komputer.

Lihatlah repositori OpenVino yang mengagumkan untuk menemukan koleksi proyek AI buatan komunitas berdasarkan OpenVino!

Dokumentasi

Dokumentasi pengguna berisi informasi terperinci tentang OpenVino dan memandu Anda dari instalasi melalui mengoptimalkan dan menggunakan model untuk aplikasi AI Anda.

Dokumentasi pengembang berfokus pada bagaimana komponen OpenVino bekerja dan menjelaskan proses pembangunan dan berkontribusi.

Kontribusi dan Dukungan

Lihat Pedoman Kontribusi untuk detail lebih lanjut. Baca bagian masalah pertama yang baik, jika Anda mencari tempat untuk mulai berkontribusi. Kami menyambut semua jenis kontribusi!

Anda dapat mengajukan pertanyaan dan mendapatkan dukungan di:

• Masalah GitHub.
• Saluran OpenVino di Intel DevHub Discord Server.
• Tag openvino di Stack Overflow*.

Sumber daya tambahan

• Halaman produk
• Catatan Rilis
• Blog OpenVino
• OpenVino ™ Toolkit di Medium

Telemetri

OpenVino ™ mengumpulkan kinerja perangkat lunak dan data penggunaan untuk tujuan meningkatkan alat OpenVino ™. Data ini dikumpulkan langsung oleh OpenVino ™ atau melalui penggunaan Google Analytics 4. Anda dapat memilih keluar kapan saja dengan menjalankan perintah:

opt_in_out --opt_out

Informasi lebih lanjut tersedia di OpenVino ™ Telemetry.

Lisensi

OpenVino ™ Toolkit dilisensikan di bawah Lisensi Apache versi 2.0. Dengan berkontribusi pada proyek, Anda menyetujui persyaratan lisensi dan hak cipta di dalamnya dan melepaskan kontribusi Anda berdasarkan ketentuan ini.

---

* Nama dan merek lain dapat diklaim sebagai milik orang lain.