nos下載 - nos源代碼下載

nos

其他源碼

v0.3.0

下載

網站|文檔|教程|操場|博客|不和諧

NOS是在任何云或AI HW上運行的快速靈活的Pytorch推理服務器。

關鍵功能

？ ‍易於使用：專為Pytorch製造，設計用於在生產中優化，服務和自動尺度的Pytorch模型，而不會損害開發人員體驗。
？多模式和多模型：在單個服務器中同時使用多個基礎AI模型（LLMS，擴散，嵌入，語音到文本和對象檢測）。
HW -Aware Runtime：毫不費力地在現代AI加速器上部署Pytorch模型（NVIDIA GPU，AWS subleentia2，AMD-即將推出，甚至CPU）。
☁️雲 - 敏捷的容器：在任何云上運行（AWS，GCP，Azure，Lambda Labs，On-On-opem），並使用我們的即將使用的推理服務器容器運行。

什麼是新的

[2024年2月] ✍️[博客]介紹了NOS NOS推理（ inf2 ）運行時。
[2024年1月] ✍️[博客]在Skyserve的預算中為LLM提供服務。
[2024年1月] [DOCS] NOS X SKYPILOT集成頁面！
[2024年1月] ✍️[blog]可以在此處使用NOS教程開始！
[2023年12月] ？ [repo]我們開源了NOS操場，以幫助您開始使用NOS構建的更多示例！

Quickstart

我們強烈建議您訪問我們的Quickstart指南以開始。要安裝NOS客戶端，您可以運行以下命令：

conda create -n nos python=3.8 -y
conda activate nos
pip install torch-nos

安裝客戶端后，您可以通過NOS serve CLI啟動NOS服務器。這將自動檢測您的本地環境，下載Docker Runtime Image並旋轉NOS服務器：

nos serve up --http --logging-level INFO

現在，您可以使用NOS運行您的第一個推理請求！您可以運行以下任何命令來嘗試一下。如果您需要從服務器中獲得更多詳細信息，則可以將記錄級別設置為DEBUG 。

？ ‍ NOS可以做什麼？

CHAT / LLM代理商（Chatgpt-As-A-Service）

NOS提供了一台具有流支持的OpenAI兼容服務器，因此您可以連接您喜歡的OpenAI兼容LLM客戶端與NOS交談。

API /用法

GRPC API⚡

 from nos . client import Client

client = Client ()

model = client . Module ( "TinyLlama/TinyLlama-1.1B-Chat-v1.0" )
response = model . chat ( message = "Tell me a story of 1000 words with emojis" , _stream = True )

REST API

curl 
-X POST http://localhost:8000/v1/chat/completions 
-H " Content-Type: application/json " 
-d ' {
    "model": "TinyLlama/TinyLlama-1.1B-Chat-v1.0",
    "messages": [{
        "role": "user",
        "content": "Tell me a story of 1000 words with emojis"
    }],
    "temperature": 0.7,
    "stream": true
  } '

？圖像生成（穩定 - 擴散-As-a-Service）

在幾秒鐘內構建Midjourney Discord機器人。

API /用法

GRPC API⚡

 from nos . client import Client

client = Client ()

sdxl = client . Module ( "stabilityai/stable-diffusion-xl-base-1-0" )
image , = sdxl ( prompts = [ "hippo with glasses in a library, cartoon styling" ],
              width = 1024 , height = 1024 , num_images = 1 )

REST API

curl 
-X POST http://localhost:8000/v1/infer 
-H ' Content-Type: application/json ' 
-d ' {
    "model_id": "stabilityai/stable-diffusion-xl-base-1-0",
    "inputs": {
        "prompts": ["hippo with glasses in a library, cartoon styling"],
        "width": 1024, "height": 1024,
        "num_images": 1
    }
} '

？文本和圖像嵌入（剪貼畫）

在幾分鐘內構建圖像/視頻的可擴展語義搜索。

API /用法

GRPC API⚡

 from nos . client import Client

client = Client ()

clip = client . Module ( "openai/clip-vit-base-patch32" )
txt_vec = clip . encode_text ( texts = [ "fox jumped over the moon" ])

REST API

curl 
-X POST http://localhost:8000/v1/infer 
-H ' Content-Type: application/json ' 
-d ' {
    "model_id": "openai/clip-vit-base-patch32",
    "method": "encode_text",
    "inputs": {
        "texts": ["fox jumped over the moon"]
    }
} '

？音頻轉錄（竊竊私語 - 服務）

使用耳語執行實時音頻轉錄。

API /用法

GRPC API⚡

 from pathlib import Path
from nos . client import Client

client = Client ()

model = client . Module ( "openai/whisper-small.en" )
with client . UploadFile ( Path ( "audio.wav" )) as remote_path :
  response = model ( path = remote_path )
# {"chunks": ...}

REST API

curl 
-X POST http://localhost:8000/v1/infer/file 
-H ' accept: application/json ' 
-H ' Content-Type: multipart/form-data ' 
-F ' model_id=openai/whisper-small.en ' 
-F ' [email protected] '

？對象檢測（Yolox-As-A-Service）

在2行代碼中運行經典的計算機視覺任務。

API /用法

GRPC API⚡

 from pathlib import Path
from nos . client import Client

client = Client ()

model = client . Module ( "yolox/medium" )
response = model ( images = [ Image . open ( "image.jpg" )])

REST API

curl 
-X POST http://localhost:8000/v1/infer/file 
-H ' accept: application/json ' 
-H ' Content-Type: multipart/form-data ' 
-F ' model_id=yolox/medium ' 
-F ' [email protected] '