model_server

Server Model OpenVino ™

Model Server Hosts Model dan membuatnya dapat diakses ke komponen perangkat lunak atas protokol jaringan standar: Klien mengirimkan permintaan ke server model, yang melakukan inferensi model dan mengirimkan respons kembali ke klien. Server Model menawarkan banyak keuntungan untuk penyebaran model yang efisien:

• Inferensi jarak jauh memungkinkan menggunakan klien ringan dengan hanya fungsi yang diperlukan untuk melakukan panggilan API ke edge atau penyebaran cloud.
• Aplikasi tidak tergantung pada kerangka kerja model, perangkat perangkat keras, dan infrastruktur.
• Aplikasi klien dalam bahasa pemrograman apa pun yang mendukung panggilan istirahat atau GRPC dapat digunakan untuk menjalankan inferensi dari jarak jauh di server model.
• Klien membutuhkan lebih sedikit pembaruan karena perpustakaan klien sangat jarang berubah.
• Topologi model dan bobot tidak terpapar langsung ke aplikasi klien, membuatnya lebih mudah untuk mengontrol akses ke model.
• Arsitektur ideal untuk aplikasi dan penyebaran berbasis layanan mikro di lingkungan cloud-termasuk Kubernetes dan kelompok openshift.
• Pemanfaatan sumber daya yang efisien dengan penskalaan inferensi horizontal dan vertikal.

OpenVino ™ Model Server (OVMS) adalah sistem kinerja tinggi untuk model penyajian. Diimplementasikan dalam C ++ untuk skalabilitas dan dioptimalkan untuk penyebaran pada Arsitektur Intel, server model menggunakan arsitektur dan API yang sama dengan TensorFlow Sajian dan KServe sambil menerapkan OpenVino untuk eksekusi inferensi. Layanan inferensi disediakan melalui GRPC atau REST API, membuat penggunaan algoritma baru dan eksperimen AI mudah.

Model yang digunakan oleh server perlu disimpan secara lokal atau di -host dari jarak jauh oleh layanan penyimpanan objek. Untuk detail lebih lanjut, lihat persiapan dokumentasi repositori model. Model Server bekerja di dalam wadah Docker, di Bare Metal, dan di lingkungan Kubernetes. Mulailah menggunakan server model OpenVino dengan contoh pagar yang cepat dari panduan QuickStart atau menjelajahi fitur server model.

Baca catatan rilis untuk mengetahui apa yang baru.

Fitur Utama:

• [Baru] Teks Embeddings Kompatibel dengan OpenAI API
• [Baru] Reranking kompatibel dengan cohere API
• [Baru] Pembuatan teks yang efisien melalui OpenAI API
• Eksekusi Kode Python
• GRPC Streaming
• Grafik MediAPipe melayani
• Manajemen Model - Termasuk versi model dan pembaruan model dalam runtime
• Input model dinamis
• Penjadwal grafik asiklik terarah bersama dengan node khusus di pipa DAG
• Metrik - Metrik Kompatibel dengan Standar Prometheus
• Dukungan untuk beberapa kerangka kerja, seperti TensorFlow, Paddlepaddle dan Onnx
• Dukungan untuk akselerator AI

Catatan: OVM telah diuji pada Redhat, dan Ubuntu. Gambar Docker terbaru yang dirilis publik didasarkan pada Ubuntu dan UBI. Mereka disimpan di:

• Dockerhub
• Katalog Ekosistem Redhat

Jalankan Server Model OpenVino

Demonstrasi tentang cara menggunakan OpenVino Model Server dapat ditemukan di panduan cepat kami untuk case penggunaan visi dan pembuatan teks LLM. Untuk informasi lebih lanjut tentang penggunaan server model dalam berbagai skenario, Anda dapat memeriksa panduan berikut:

• Konfigurasi Repositori Model

• Opsi penempatan

• Penyetelan kinerja

• Penjadwal Grafik Acyclic Diarahkan

• Pengembangan Node Kustom

• Melayani model stateful

• Menyebarkan menggunakan grafik helm Kubernetes

• Penempatan menggunakan operator Kubernetes

• Menggunakan data input biner

Referensi

• OpenVino ™

• Tensorflow melayani

• grpc

• API yang tenang

• Hasil pembandingan

• Kecepatan dan skala operasi inferensi AI di berbagai arsitektur - perekaman webinar

• Apa yang baru di server model OpenVino C ++

• Kesehatan Modal Meningkatkan Perawatan Stroke Dengan AI - Contoh Kasus Penggunaan

Kontak

Jika Anda memiliki pertanyaan, permintaan fitur, atau laporan bug, jangan ragu untuk mengirimkan masalah GitHub.

---

* Nama dan merek lain dapat diklaim sebagai milik orang lain.