model_server

OpenVino™模型服務器

Model Server託管模型，並使它們可以通過標準網絡協議可以通過軟件組件訪問：客戶端將請求發送到模型服務器，該模型服務器執行模型推理並將響應發送回客戶端。 Model Server為有效的模型部署提供了許多優勢：

• 遠程推理可以使用僅具有必要功能的輕量級客戶端執行對邊緣或云部署的API調用。
• 應用程序獨立於模型框架，硬件設備和基礎架構。
• 任何支持REST或GRPC調用的編程語言中的客戶端應用程序都可以用於在模型服務器上遠程運行。
• 客戶端庫的更改很少，因此客戶需要更少的更新。
• 模型拓撲和權重不會直接暴露於客戶端應用程序，從而更容易控制對模型的訪問。
• 基於微服務的應用程序和雲環境中的部署的理想體系結構，包括Kubernetes和OpenShift群集。
• 水平和垂直推理縮放的有效資源利用。

OpenVino™Model Server（OVM）是用於服務模型的高性能係統。該模型服務器在C ++中實現，以用於可擴展性，並針對英特爾體系結構進行了優化，在應用OpenVino進行推理執行時，使用了與TensorFlow Serving和Kserve相同的體系結構和API。推理服務是通過GRPC或REST API提供的，使部署新算法和AI實驗變得容易。

服務器使用的模型需要在本地存儲或通過對象存儲服務遠程託管。有關更多詳細信息，請參閱準備模型存儲庫文檔。模型服務器在Docker容器，裸機和Kubernetes環境中的工作。從QuickStart指南或探索模型服務器功能中使用OpenVino Model Server使用OpenVino Model Server。

閱讀發行說明以找出什麼新功能。

關鍵功能：

• [新]與OpenAI API兼容的文本嵌入
• [New]重讀與Cohere API兼容的
• [新]通過Openai API有效的文本生成
• Python代碼執行
• GRPC流媒體
• MediaPipe圖表服務
• 模型管理 - 在運行時包括模型版本和模型更新
• 動態模型輸入
• 定向無環計劃程序以及DAG管道中的自定義節點
• 指標 - 與普羅米修斯標準兼容的指標
• 支持多個框架，例如TensorFlow，PaddlePaddle和Onnx
• 支持AI加速器

注意： OVM已在Redhat和Ubuntu上進行了測試。最新發布的Docker圖像基於Ubuntu和Ubi。它們存儲在：

• Dockerhub
• Redhat生態系統目錄

運行OpenVino模型服務器

有關如何使用OpenVino Model Server的演示，可以在我們的Vision用例和LLM文本生成的快速啟動指南中找到。有關在各種情況下使用Model Server的更多信息，您可以檢查以下指南：

• 模型存儲庫配置

• 部署選項

• 性能調整

• 定向無環形圖調度程序

• 自定義節點開發

• 服務狀態模型

• 使用kubernetes頭盔圖表部署

• 使用Kubernetes操作員部署

• 使用二進制輸入數據

參考

• OpenVino™

• TensorFlow服務

• grpc

• 寧靜的API

• 基準測試結果

• 跨多個體系結構 - 網絡研討會記錄的速度和規模AI推理操作

• OpenVino Model Server C ++中的新事物是什麼

• Capital Health通過AI-用例示例改善了中風護理

接觸

如果您有問題，功能請求或錯誤報告，請隨時提交GitHub問題。

---

*其他名稱和品牌可能被稱為他人的財產。