model_server

OpenVino ™ 모델 서버

Model Server는 모델을 호스팅하고 표준 네트워크 프로토콜을 통해 소프트웨어 구성 요소에 액세스 할 수있게합니다. 클라이언트는 모델 서버에 요청을 보내 모델 추론을 수행하고 클라이언트에 응답을 다시 보냅니다. Model Server는 효율적인 모델 배포를위한 많은 장점을 제공합니다.

• 원격 추론을 통해 API 호출에 Edge 또는 클라우드 배포를 수행하는 데 필요한 기능만으로 가벼운 클라이언트를 사용할 수 있습니다.
• 응용 프로그램은 모델 프레임 워크, 하드웨어 장치 및 인프라와 무관합니다.
• REST 또는 GRPC 통화를 지원하는 모든 프로그래밍 언어의 클라이언트 응용 프로그램을 사용하여 모델 서버에서 원격으로 추론을 실행할 수 있습니다.
• 클라이언트 라이브러리가 거의 변경되지 않으므로 클라이언트는 더 적은 업데이트가 필요합니다.
• 모델 토폴로지 및 가중치는 클라이언트 응용 프로그램에 직접 노출되지 않으므로 모델에 대한 액세스를보다 쉽게 ​​제어 할 수 있습니다.
• Kubernetes 및 OpenShift 클러스터를 포함하여 클라우드 환경에서 마이크로 서비스 기반 애플리케이션 및 배포를위한 이상적인 아키텍처.
• 수평 및 수직 추론 스케일링을 사용한 효율적인 자원 활용.

OpenVino ™ Model Server (OVMS)는 모델 서비스를위한 고성능 시스템입니다. 확장 성을 위해 C ++로 구현되고 인텔 아키텍처에서 배포를 위해 최적화 된 모델 서버는 추론 실행을 위해 OpenVino를 적용하면서 동일한 아키텍처 및 API를 텐서 플로우 서빙 및 Kserve를 사용합니다. 추론 서비스는 GRPC 또는 REST API를 통해 제공되며 새로운 알고리즘 및 AI 실험을 쉽게 배포합니다.

서버에서 사용하는 모델은 객체 저장 서비스에 의해 로컬로 또는 원격으로 호스팅되어야합니다. 자세한 내용은 모델 리포지토리 문서 준비를 참조하십시오. 모델 서버는 Docker Containers, Bare Metal 및 Kubernetes 환경에서 작동합니다. QuickStart Guide 또는 Model Server 기능 탐색의 빠른 서빙 예제와 함께 OpenVino 모델 서버 사용을 시작하십시오.

새로운 것을 찾으려면 릴리스 노트를 읽으십시오.

주요 기능 :

• [신규] OpenAI API와 호환되는 텍스트 임베드
• [신규] Cohere API와 호환되는 재창조
• [신규] OpenAI API를 통한 효율적인 텍스트 생성
• 파이썬 코드 실행
• GRPC 스트리밍
• 미디어 파이프 그래프
• 모델 관리 - 런타임의 모델 버전 및 모델 업데이트를 포함한 모델 관리
• 동적 모델 입력
• DAG 파이프 라인의 사용자 정의 노드와 함께 지시 된 Acyclic Graph 스케줄러
• 메트릭 - Prometheus Standard와 호환되는 메트릭
• Tensorflow, Paddlepaddle 및 Onnx와 같은 여러 프레임 워크 지원
• AI 가속기 지원

참고 : OVM은 Redhat 및 Ubuntu에서 테스트되었습니다. 공개적으로 공개 된 Docker 이미지는 Ubuntu 및 UBI를 기반으로합니다. 그들은 다음에 저장됩니다.

• DockerHub
• Redhat Ecosystem 카탈로그

OpenVino 모델 서버를 실행하십시오

OpenVino 모델 서버 사용 방법에 대한 데모는 비전 사용 사례 및 LLM 텍스트 생성을위한 빠른 시작 안내서에서 찾을 수 있습니다. 다양한 시나리오에서 모델 서버 사용에 대한 자세한 내용은 다음 안내서를 확인할 수 있습니다.

• 모델 저장소 구성

• 배포 옵션

• 성능 튜닝

• 지시 된 acyclic 그래프 스케줄러

• 사용자 정의 노드 개발

• 상태가 많은 모델을 제공합니다

• Kubernetes Helm 차트를 사용하여 배포하십시오

• Kubernetes 운영자를 사용한 배포

• 이진 입력 데이터 사용

참조

• OpenVino ™

• 텐서 플로우 서빙

• grpc

• 편안한 API

• 벤치마킹 결과

• 여러 아키텍처에서 속도 및 스케일 AI 추론 작업 - 웹 세미나 녹음

• OpenVino 모델 서버 C ++의 새로운 기능

• 자본 건강은 AI를 사용한 뇌졸중 치료를 향상시킵니다 - 사용 사례 예제

연락하다

질문, 기능 요청 또는 버그 보고서가 있으면 언제든지 Github 문제를 제출하십시오.

---

* 다른 이름과 브랜드는 다른 이름의 재산으로 주장 될 수 있습니다.