nos
v0.3.0
เว็บไซต์ | เอกสาร | บทเรียน สนามเด็กเล่น บล็อก | ความไม่ลงรอยกัน
NOS เป็นเซิร์ฟเวอร์การอนุมาน Pytorch ที่รวดเร็วและยืดหยุ่นซึ่งทำงานบนคลาวด์หรือ AI HW ใด ๆ
inf2 ) รันไทม์เราขอแนะนำให้คุณไปที่คู่มือ QuickStart ของเราเพื่อเริ่มต้น ในการติดตั้งไคลเอนต์ NOS คุณสามารถเรียกใช้คำสั่งต่อไปนี้:
conda create -n nos python=3.8 -y
conda activate nos
pip install torch-nos เมื่อติดตั้งไคลเอนต์แล้วคุณสามารถเริ่มต้นเซิร์ฟเวอร์ NOS ผ่าน NOS serve CLI สิ่งนี้จะตรวจจับสภาพแวดล้อมในพื้นที่ของคุณโดยอัตโนมัติดาวน์โหลดอิมเมจ Docker Runtime และหมุนเซิร์ฟเวอร์ NOS:
nos serve up --http --logging-level INFO ตอนนี้คุณพร้อมที่จะเรียกใช้คำขออนุมานครั้งแรกกับ NOS! คุณสามารถเรียกใช้คำสั่งใด ๆ ต่อไปนี้เพื่อลองสิ่งต่างๆ คุณสามารถตั้งค่าระดับการบันทึกเพื่อ DEBUG หากคุณต้องการข้อมูลรายละเอียดเพิ่มเติมจากเซิร์ฟเวอร์
NOS ให้บริการเซิร์ฟเวอร์ที่เข้ากันได้กับ OpenAI พร้อมการสนับสนุนการสตรีมเพื่อให้คุณสามารถเชื่อมต่อไคลเอนต์ LLM ที่เข้ากันได้ของ OpenAI ที่คุณชื่นชอบเพื่อพูดคุยกับ NOS
grpc api ⚡
from nos . client import Client
client = Client ()
model = client . Module ( "TinyLlama/TinyLlama-1.1B-Chat-v1.0" )
response = model . chat ( message = "Tell me a story of 1000 words with emojis" , _stream = True )REST API
curl
-X POST http://localhost:8000/v1/chat/completions
-H " Content-Type: application/json "
-d ' {
"model": "TinyLlama/TinyLlama-1.1B-Chat-v1.0",
"messages": [{
"role": "user",
"content": "Tell me a story of 1000 words with emojis"
}],
"temperature": 0.7,
"stream": true
} 'สร้างบอท Midjourney Discord ในไม่กี่วินาที
grpc api ⚡
from nos . client import Client
client = Client ()
sdxl = client . Module ( "stabilityai/stable-diffusion-xl-base-1-0" )
image , = sdxl ( prompts = [ "hippo with glasses in a library, cartoon styling" ],
width = 1024 , height = 1024 , num_images = 1 )REST API
curl
-X POST http://localhost:8000/v1/infer
-H ' Content-Type: application/json '
-d ' {
"model_id": "stabilityai/stable-diffusion-xl-base-1-0",
"inputs": {
"prompts": ["hippo with glasses in a library, cartoon styling"],
"width": 1024, "height": 1024,
"num_images": 1
}
} 'สร้างการค้นหาความหมายที่ปรับขนาดได้ของรูปภาพ/วิดีโอในไม่กี่นาที
grpc api ⚡
from nos . client import Client
client = Client ()
clip = client . Module ( "openai/clip-vit-base-patch32" )
txt_vec = clip . encode_text ( texts = [ "fox jumped over the moon" ])REST API
curl
-X POST http://localhost:8000/v1/infer
-H ' Content-Type: application/json '
-d ' {
"model_id": "openai/clip-vit-base-patch32",
"method": "encode_text",
"inputs": {
"texts": ["fox jumped over the moon"]
}
} 'ทำการถอดความเสียงแบบเรียลไทม์โดยใช้ Whisper
grpc api ⚡
from pathlib import Path
from nos . client import Client
client = Client ()
model = client . Module ( "openai/whisper-small.en" )
with client . UploadFile ( Path ( "audio.wav" )) as remote_path :
response = model ( path = remote_path )
# {"chunks": ...}REST API
curl
-X POST http://localhost:8000/v1/infer/file
-H ' accept: application/json '
-H ' Content-Type: multipart/form-data '
-F ' model_id=openai/whisper-small.en '
-F ' [email protected] 'รันงานการมองเห็นคอมพิวเตอร์แบบคลาสสิกใน 2 บรรทัดของรหัส
grpc api ⚡
from pathlib import Path
from nos . client import Client
client = Client ()
model = client . Module ( "yolox/medium" )
response = model ( images = [ Image . open ( "image.jpg" )])REST API
curl
-X POST http://localhost:8000/v1/infer/file
-H ' accept: application/json '
-H ' Content-Type: multipart/form-data '
-F ' model_id=yolox/medium '
-F ' [email protected] 'ต้องการเรียกใช้โมเดลที่ไม่รองรับโดย NOS หรือไม่? คุณสามารถเพิ่มโมเดลของคุณเองได้อย่างง่ายดายตามตัวอย่างในสนามเด็กเล่น NOS
โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต Apache-2.0
NOS รวบรวมข้อมูลการใช้งานที่ไม่ระบุชื่อโดยใช้ Sentry สิ่งนี้ใช้เพื่อช่วยให้เราเข้าใจว่าชุมชนใช้ NOS และช่วยให้เราจัดลำดับความสำคัญของคุณสมบัติได้อย่างไร คุณสามารถยกเลิกการใช้ telemetry ได้โดยการตั้ง NOS_TELEMETRY_ENABLED=0
เรายินดีต้อนรับผลงาน! โปรดดูคู่มือการสนับสนุนของเราสำหรับข้อมูลเพิ่มเติม
