onnxruntime server 다운로드 onnxruntime server 소스 코드 다운로드

onnxruntime server

기타 소스코드

v1.20.0

다운로드

ONNX 런타임 서버

ONNX : 신경망 교환을 개방하십시오
Onnx 런타임 서버는 ONNX 추론을 위해 TCP 및 HTTP/HTTPS REST API를 제공하는 서버입니다.
ONNX 런타임 서버는 간단하고 고성능 ML 추론과 우수한 개발자 경험을 제공하는 것을 목표로합니다.
- ONNX 파일로 다양한 환경에서 교육을받은 ML 모델을 내보낸 경우 추가 코드 또는 메타 데이터를 작성하지 않고 추론 API를 제공 할 수 있습니다. ONNX 파일을 디렉토리 구조에 배치하십시오.
- 각 ONNX 세션에서는 CPU 또는 CUDA를 사용하도록 선택할 수 있습니다.
- ONNX 모델의 입력/출력을 분석하여 공동 작업자에게 유형/모양 정보를 제공하십시오.
- 내장 된 Swagger API 문서를 사용하면 협업자가 API를 통해 ML 모델을 쉽게 테스트 할 수 있습니다. (API 예제)
- 즉시 도커 이미지. 빌드가 필요하지 않습니다.

Onnx 런타임 서버를 빌드하십시오
- 요구 사항
  - Onnx 런타임을 설치하십시오
  - 종속성을 설치하십시오
- 컴파일 및 설치
패키지 관리자를 통해 설치하십시오
서버를 실행하십시오
도커
API
사용 방법

Onnx 런타임 서버를 빌드하십시오

요구 사항

ONNX 런타임
후원
CMAKE, PKG-CONFIG
CUDA ( 선택 사항, NVIDIA GPU 지원 )
OpenSSL ( HTTPS의 경우 선택 사항 )

Onnx 런타임을 설치하십시오

리눅스

download-onnxruntime-linux.sh 스크립트를 사용하십시오
- 이 스크립트는 최신 버전의 바이너리를 다운로드하고 /usr/local/onnxruntime 에 설치합니다.
- 또한 /usr/local/onnxruntime/lib 에 /etc/ld.so.conf.d/onnxruntime.conf 를 추가하고 ldconfig 실행하십시오.
또는 Onnx 런타임 릴리스에서 바이너리를 수동으로 다운로드하십시오.

Mac OS

brew install onnxruntime

종속성을 설치하십시오

우분투/데비안

sudo apt install cmake pkg-config libboost-all-dev libssl-dev

(선택 사항) CUDA 지원 (CUDA 12.X, CUDNN 9.X)

CUDA 툴킷 및 CUDNN을 설치하려면 아래 지침을 따라하십시오.
- CUDA 툴킷 설치 안내서
- 우분투에 대한 CUDA 다운로드

sudo apt install cuda-toolkit-12 libcudnn9-dev-cuda-12
# optional, for Nvidia GPU support with Docker 
sudo apt install nvidia-container-toolkit

Mac OS

brew install cmake boost openssl

컴파일 및 설치

cmake -B build -S . -DCMAKE_BUILD_TYPE=Release
cmake --build build --parallel
sudo cmake --install build --prefix /usr/local/onnxruntime-server

패키지 관리자를 통해 설치하십시오

OS	방법	명령
아치 리눅스	aur	`yay -S onnxruntime-server`

서버를 실행하십시오

모델이 위치한 경로 옵션 ( --model-dir )을 입력해야합니다.
- onnx 모델 파일은 다음 경로에 있어야합니다. ${model_dir}/${model_name}/${model_version}/model.onnx 또는 ${model_dir}/${model_name}/${model_version}.onnx

`--model-dir` 의 파일	세션 요청 본문을 만듭니다	세션 API URL 경로를 받기/실행하십시오 (생성 후)
`model_name/model_version/model.onnx` 또는 `model_name/model_version.onnx`	`{"model":"model_name", "version":"model_version"}`	`/api/sessions/model_name/model_version`
`sample/v1/model.onnx` 또는 `sample/v1.onnx`	`{"model":"sample", "version":"v1"}`	`/api/sessions/sample/v1`
`sample/v2/model.onnx` 또는 `sample/v2.onnx`	`{"model":"sample", "version":"v2"}`	`/api/sessions/sample/v2`
`other/20200101/model.onnx` 또는 `other/20200101.onnx`	`{"model":"other", "version":"20200101"}`	`/api/sessions/other/20200101`

TCP, HTTP 또는 HTTPS의 다음 백엔드 중 하나를 활성화해야합니다.
- TCP를 사용하려면 --tcp-port 옵션을 지정해야합니다.
- HTTP를 사용하려면 --http-port 옵션을 지정해야합니다.
- https를 사용하려면 --https-port , --https-cert 및 --https-key 옵션을 지정해야합니다.
- Swagger를 사용하려면 --swagger-url-path 옵션을 지정해야합니다.
-h , --help 옵션을 사용하여 전체 옵션 목록을보십시오.
모든 옵션은 환경 변수로 설정할 수 있습니다. 이것은 Docker와 같은 컨테이너에서 작동 할 때 유용 할 수 있습니다.
- 일반적으로 명령 줄 옵션은 환경 변수보다 우선 순위가 지정되지만 ONNX_SERVER_CONFIG_PRIORITY=env 환경 변수가 존재하면 환경 변수는 우선 순위가 높습니다. 도커 이미지 내에서 환경 변수는 우선 순위가 높습니다.

옵션

옵션	환경	설명
`--workers`	`ONNX_SERVER_WORKERS`	작업자 스레드 풀 크기. 기본값 : `4`
`--request-payload-limit`	`ONNX_SERVER_REQUEST_PAYLOAD_LIMIT`	HTTP/HTTPS 요청 페이로드 크기 제한. 기본값 : 1024 * 1024 * 10 (10MB)`
`--model-dir`	`ONNX_SERVER_MODEL_DIR`	모델 디렉토리 경로 ONNX 모델 파일은 다음 경로에 있어야합니다. `${model_dir}/${model_name}/${model_version}/model.onnx` 또는 `${model_dir}/${model_name}/${model_version}.onnx` 기본값 : `models`
`--prepare-model`	`ONNX_SERVER_PREPARE_MODEL`	서버 스타트 업에서 일부 모델 세션을 사전 제작하십시오. `model_name:model_version` 또는 `model_name:model_version(session_options, ...)` 의 공간 분리 목록으로 형식. 사용 가능한 Session_Options가 있습니다 -cuda = device_id `[ or true or false]` 예 : `model1:v1 model2:v9` `model1:v1(cuda=true) model2:v9(cuda=1)`

백엔드 옵션

옵션	환경	설명
`--tcp-port`	`ONNX_SERVER_TCP_PORT`	TCP 백엔드 및 사용할 포트 번호를 활성화하십시오.
`--http-port`	`ONNX_SERVER_HTTP_PORT`	HTTP 백엔드 및 사용할 포트 번호를 활성화하십시오.
`--https-port`	`ONNX_SERVER_HTTPS_PORT`	HTTPS 백엔드 및 사용할 포트 번호를 활성화하십시오.
`--https-cert`	`ONNX_SERVER_HTTPS_CERT`	HTTPS 용 SSL 인증 파일 경로
`--https-key`	`ONNX_SERVER_HTTPS_KEY`	HTTPS 용 SSL 개인 키 파일 경로
`--swagger-url-path`	`ONNX_SERVER_SWAGGER_URL_PATH`	HTTP/HTTPS 백엔드 용 Swagger API 문서를 활성화하십시오. 이 값은 "/api/"및 "/health"로 시작할 수 없습니다. 지정되지 않은 경우 Swagger 문서가 제공되지 않습니다. 예를 들어) /swagger 또는 /api-docs

로그 옵션

옵션	환경	설명
`--log-level`	`ONNX_SERVER_LOG_LEVEL`	로그 레벨 (디버그, 정보, 경고, 오류, 치명적)
`--log-file`	`ONNX_SERVER_LOG_FILE`	로그 파일 경로. 지정되지 않으면 로그는 stdout에 인쇄됩니다.
`--access-log-file`	`ONNX_SERVER_ACCESS_LOG_FILE`	로그 파일 경로에 액세스하십시오. 지정되지 않으면 로그는 stdout에 인쇄됩니다.

도커

Docker Hub : Kibaes/Onnxruntime-Server
- 1.20.1-linux-cuda12 AMD64 (CUDA 12.X, CUDNN 9.X)
- 1.20.1-linux-cpu AMD64, ARM64

DOCKER_IMAGE=kibae/onnxruntime-server:1.20.1-linux-cuda12 # or kibae/onnxruntime-server:1.20.1-linux-cpu	

docker pull ${DOCKER_IMAGE}

# simple http backend
docker run --name onnxruntime_server_container -d --rm --gpus all 
  -p 80:80 
  -v " /your_model_dir:/app/models " 
  -v " /your_log_dir:/app/logs " 
  -e " ONNX_SERVER_SWAGGER_URL_PATH=/api-docs " 
  ${DOCKER_IMAGE}

Docker 이미지 사용에 대한 자세한 내용은 여기를 참조하십시오.
- https://hub.docker.com/r/kibaes/onnxruntime-server
Docker-Compose.yml 예제는 저장소에서 사용할 수 있습니다.

API

HTTP/HTTPS REST API
- API Documentation (Swagger)이 내장되어 있습니다. 서버가 Swagger를 제공하려면 시작시 --swagger-url-path=/swagger/ 옵션을 추가하십시오. --http-port 또는 --https-port 옵션과 함께 사용해야합니다.
```
./onnxruntime_server --model-dir=YOUR_MODEL_DIR --http-port=8080 --swagger-url-path=/api-docs/
```
  - 위와 같이 서버를 실행하면 http://localhost:8080/api-docs/ 에서 사용 가능한 Swagger UI에 액세스 할 수 있습니다.
- 늪지대 샘플
TCP API

사용 방법

사용 흐름에 대한 대략적인 아이디어를 얻는 데 도움이되는 몇 가지 사항이 남았습니다.

간단한 사용 예제

서버 스타트 업에서 ONNX 세션 생성의 예

 %% {init : {
    '시퀀스': { 'notealign': 'left', 'mirroractors': true}
}} %%
시퀀스 인디 아그램
    관리자로서 배우 A
    Box RGB (0, 0, 0, 0.1) "Onnx 런타임 서버"
        디스크로 참가자 SD
        참가자 SP 프로세스로 SP
    끝
    액터 C 클라이언트로서
    a의 오른쪽 참고 : 제공 할 3 가지 모델이 있습니다.
    a ->> sd : 모델 파일을 디스크에 복사합니다. <br />"/var/models/model_a/v1/model.onnx"<br />"/var/models/model_a/v2/model.onnx"<bar/models/model_b/20201101/model.onnx.
    a ->> sp : -예약 모드 옵션으로 서버를 시작하십시오
    sp를 활성화하십시오
    a : onnxruntime_server <br />-http-port = 8080 <br />-model-path = /var /model <br />-준비 모델 = "model_a : v1 (cuda = 0) model_a : v2 (cuda = 0)"
    SP- >> SD :로드 모델
    sd, sp : <br />"/var/models/model_a/v1/model.onnx의로드 모델에 대한 참고 사항 "
    SD- >> sp : 모델 바이너리
    sp를 활성화하십시오
    sp- >> sp : <br /> onnxruntime <br /> 세션을 작성합니다
    비활성화 sp
    비활성화 sp
    rect rgb (100, 100, 100, 0.3)
        SD, C : Execute Session에 대한 참고 사항
        C- >> SP : 세션 요청을 실행하십시오
        sp를 활성화하십시오
        sp, c : post /api /sessions /model_a /v1 <br /> {<br /> "x": [[1], [2], [3]], <br /> "y": [2], [3], [4]], <br /> "z": [3], [4], [5]}
        sp를 활성화하십시오
        sp- >> sp : <br /> onnxruntime <br /> 세션을 실행하십시오
        비활성화 sp
        sp- >> c : 세션 응답을 실행합니다
        비활성화 sp
        sp, c : {<br /> "output": [<br />] : [<br /> [0.6492120623588562], <br /> <bbr /> <br />=
    끝

클라이언트가 Onnx 세션을 작성하고 실행하는 예

 %% {init : {
    '시퀀스': { 'notealign': 'left', 'mirroractors': true}
}} %%
시퀀스 인디 아그램
    관리자로서 배우 A
    Box RGB (0, 0, 0, 0.1) "Onnx 런타임 서버"
        디스크로 참가자 SD
        참가자 SP 프로세스로 SP
    끝
    액터 C 클라이언트로서
    a의 오른쪽 참고 : 제공 할 3 가지 모델이 있습니다.
    a ->> sd : 모델 파일을 디스크에 복사합니다. <br />"/var/models/model_a/v1/model.onnx"<br />"/var/models/model_a/v2/model.onnx"<bar/models/model_b/20201101/model.onnx.
    A- >> SP : 시작 서버
    a : onnxruntime_server <br />-http-port = 8080 <br />-model-path = /var /models
    rect rgb (100, 100, 100, 0.3)
        SD, C : 세션을 작성하십시오
        C- >> SP : 세션 요청을 작성하십시오
        sp를 활성화하십시오
        sp, c : post /api /sessions <br /> { "model": "model_a", "버전": "v1"}.
        SP- >> SD :로드 모델
        sd, sp : <br />"/var/models/model_a/v1/model.onnx의로드 모델에 대한 참고 사항 "
        SD- >> sp : 모델 바이너리
        sp를 활성화하십시오
        sp- >> sp : <br /> onnxruntime <br /> 세션을 작성합니다
        비활성화 sp
        sp- >> c : 세션 응답을 만듭니다
        비활성화 sp
        sp, c : {<br /> "model": "model_a", <br /> "version": "v1", <br /> "create_at": 1694228106, <br /> "execution_count": 0, <br /> "last_executed_at": 0, <br /> "입력": <br /"x"x "x"x ": "float32 [-1,1]", <br /> "y": "float32 [-1,1]", <br /> "z": "float32 [-1,1]"<br />}, <br /> "출력": {<br /> "float32 [-1,1]"<br />} <br />}
        C의 오른쪽에 주목하십시오 :? 입력 및 출력의 유형과 모양 <br />을 알 수 있습니다.
    끝
    rect rgb (100, 100, 100, 0.3)
        SD, C : Execute Session에 대한 참고 사항
        C- >> SP : 세션 요청을 실행하십시오
        sp를 활성화하십시오
        sp, c : post /api /sessions /model_a /v1 <br /> {<br /> "x": [[1], [2], [3]], <br /> "y": [2], [3], [4]], <br /> "z": [3], [4], [5]}
        sp를 활성화하십시오
        sp- >> sp : <br /> onnxruntime <br /> 세션을 실행하십시오
        비활성화 sp
        sp- >> c : 세션 응답을 실행합니다
        비활성화 sp
        sp, c : {<br /> "output": [<br />] : [<br /> [0.6492120623588562], <br /> <bbr /> <br />=
    끝

확장하다

추가 정보

버전 v1.20.0
유형 기타 소스코드
업데이트 시간 2025-04-28
크기 724.12KB
출처 Github

onnxruntime server

ONNX 런타임 서버

Onnx 런타임 서버를 빌드하십시오

요구 사항

Onnx 런타임을 설치하십시오

리눅스

Mac OS

종속성을 설치하십시오

우분투/데비안

(선택 사항) CUDA 지원 (CUDA 12.X, CUDNN 9.X)

Mac OS

컴파일 및 설치

패키지 관리자를 통해 설치하십시오

서버를 실행하십시오

옵션

백엔드 옵션

로그 옵션

도커

API

사용 방법

간단한 사용 예제

서버 스타트 업에서 ONNX 세션 생성의 예

클라이언트가 Onnx 세션을 작성하고 실행하는 예

onnxruntime

SQL 서버

FileZilla 서버

FileZilla 서버

WinFtp 서버

FileZilla 서버

chat.petals.dev

GPT Prompt Templates

GPTyped

Google Dorks

shepherd

mongo express

Google Dorks

shepherd

mongo express