model_server

OpenVino ™ Model Server

Модели сервера размещает модели и делает их доступными для программных компонентов по стандартным сетевым протоколам: клиент отправляет запрос на сервер модели, который выполняет вывод модели и отправляет ответ на клиент. Сервер модели предлагает много преимуществ для эффективного развертывания модели:

• Удаленный вывод позволяет использовать легких клиентов только с необходимыми функциями для выполнения вызовов API для развертывания Edge или Cloud.
• Приложения не зависят от модельной структуры, аппаратного устройства и инфраструктуры.
• Клиентские приложения на любом языке программирования, который поддерживает вызовы REST или GRPC, могут использоваться для удаленного вывода на сервере модели.
• Клиенты требуют меньше обновлений, поскольку клиентские библиотеки меняются очень редко.
• Топология модели и веса не подвергаются непосредственному клиентским приложениям, что облегчает контроль доступа к модели.
• Идеальная архитектура для приложений и развертываний на основе микросервисов в облачных средах, включая Kubernetes и кластеры Openshift.
• Эффективное использование ресурсов с горизонтальным и вертикальным масштабированием.

OpenVino ™ Model Server (OVMS)-это высокопроизводительная система для обслуживания моделей. Реализованный в C ++ для масштабируемости и оптимизированный для развертывания в архитектурах Intel, сервер модели использует ту же архитектуру и API, что и API, что и TensorFlow Forming и Kserve при применении OpenVino для выполнения вывода. Служба вывода предоставляется с помощью API GRPC или REST, что облегчает развертывание новых алгоритмов и экспериментов по ИИ.

Модели, используемые сервером, должны храниться локально или размещены удаленно с помощью служб хранения объектов. Для получения более подробной информации обратитесь к подготовке документации по репозитории модели. Модельный сервер работает внутри контейнеров Docker, на обнаженном металле и в среде Kubernetes. Начните использовать SpeerVino Model Server с примером быстрого обслуживания из руководства QuickStart или изучить функции сервера моделей.

Прочитайте заметки о выпуске, чтобы узнать, что нового.

Ключевые функции:

• [Новый] Текст встраиваемых совместимы с API OpenAI
• [Новое] Рерангирование совместимо с Cohere API
• [Новое] эффективное генерацию текста через API OpenAI
• Выполнение кода Python
• потоковая передача GRPC
• Графики MediaPipe обслуживают
• Управление моделью - включая модель версий и обновления моделей во время выполнения
• Динамические входы модели
• Направленный планировщик ациклического графика вместе с пользовательскими узлами в трубопроводах DAG
• Метрики - метрики, совместимые со стандартом Prometheus
• Поддержка нескольких рамок, таких как Tensorflow, PaddlePaddle и Onnx
• Поддержка акселераторов ИИ

Примечание: OVMS был протестирован на Redhat и Ubuntu. Последние публично выпущенные изображения Docker основаны на Ubuntu и UBI. Они хранятся в:

• Dockerhub
• Редхат экосистемный каталог

Запустить сервер модели OpenVino

Демонстрацию о том, как использовать SpeerVino Model Server, можно найти в нашем руководстве по быстрому началу для использования видения и генерации текста LLM. Для получения дополнительной информации об использовании сервера модели в различных сценариях вы можете проверить следующие руководства:

• Конфигурация репозитория модели

• Варианты развертывания

• Настройка производительности

• Направленный ациклический график планировщик

• Разработка пользовательских узлов

• Служа Stateful Models

• Развертывание с использованием диаграммы Helm Kubernetes

• Развертывание с использованием оператора Kubernetes

• Использование бинарных входных данных

Ссылки

• OpenVino ™

• Tensorflow Aerding

• grpc

• RESTFUL API

• Результаты сравнительного анализа

• Скорость и масштабируйте операции по выводу ИИ в нескольких архитектурах - запись вебинара

• Что нового в OpenVino Model Server C ++

• Capital Health улучшает уход

Контакт

Если у вас есть вопрос, запрос на функцию или отчет об ошибке, не стесняйтесь отправлять проблему GitHub.

---

* Другие имена и бренды могут быть заявлены как собственность других.