model_server

OpenVino™模型服务器

Model Server托管模型，并使它们可以通过标准网络协议可以通过软件组件访问：客户端将请求发送到模型服务器，该模型服务器执行模型推理并将响应发送回客户端。 Model Server为有效的模型部署提供了许多优势：

• 远程推理可以使用仅具有必要功能的轻量级客户端执行对边缘或云部署的API调用。
• 应用程序独立于模型框架，硬件设备和基础架构。
• 任何支持REST或GRPC调用的编程语言中的客户端应用程序都可以用于在模型服务器上远程运行。
• 客户端库的更改很少，因此客户需要更少的更新。
• 模型拓扑和权重不会直接暴露于客户端应用程序，从而更容易控制对模型的访问。
• 基于微服务的应用程序和云环境中的部署的理想体系结构，包括Kubernetes和OpenShift群集。
• 水平和垂直推理缩放的有效资源利用。

OpenVino™Model Server（OVM）是用于服务模型的高性能系统。该模型服务器在C ++中实现，以用于可扩展性，并针对英特尔体系结构进行了优化，在应用OpenVino进行推理执行时，使用了与TensorFlow Serving和Kserve相同的体系结构和API。推理服务是通过GRPC或REST API提供的，使部署新算法和AI实验变得容易。

服务器使用的模型需要在本地存储或通过对象存储服务远程托管。有关更多详细信息，请参阅准备模型存储库文档。模型服务器在Docker容器，裸机和Kubernetes环境中的工作。从QuickStart指南或探索模型服务器功能中使用OpenVino Model Server使用OpenVino Model Server。

阅读发行说明以找出什么新功能。

关键功能：

• [新]与OpenAI API兼容的文本嵌入
• [New]重读与Cohere API兼容的
• [新]通过Openai API有效的文本生成
• Python代码执行
• GRPC流媒体
• MediaPipe图表服务
• 模型管理 - 在运行时包括模型版本和模型更新
• 动态模型输入
• 定向无环计划程序以及DAG管道中的自定义节点
• 指标 - 与普罗米修斯标准兼容的指标
• 支持多个框架，例如TensorFlow，PaddlePaddle和Onnx
• 支持AI加速器

注意： OVM已在Redhat和Ubuntu上进行了测试。最新发布的Docker图像基于Ubuntu和Ubi。它们存储在：

• Dockerhub
• Redhat生态系统目录

运行OpenVino模型服务器

有关如何使用OpenVino Model Server的演示，可以在我们的Vision用例和LLM文本生成的快速启动指南中找到。有关在各种情况下使用Model Server的更多信息，您可以检查以下指南：

• 模型存储库配置

• 部署选项

• 性能调整

• 定向无环形图调度程序

• 自定义节点开发

• 服务状态模型

• 使用kubernetes头盔图表部署

• 使用Kubernetes操作员部署

• 使用二进制输入数据

参考

• OpenVino™

• TensorFlow服务

• grpc

• 宁静的API

• 基准测试结果

• 跨多个体系结构 - 网络研讨会记录的速度和规模AI推理操作

• OpenVino Model Server C ++中的新事物是什么

• Capital Health通过AI-用例示例改善了中风护理

接触

如果您有问题，功能请求或错误报告，请随时提交GitHub问题。

---

*其他名称和品牌可能被称为他人的财产。