nos
v0.3.0
الموقع | مستندات | دروس | ملعب | بلوق | خلاف
NOS هو خادم استنتاج Pytorch سريع ومرن يعمل على أي سحابة أو منظمة العفو الدولية.
inf2 ).نوصي بشدة بالذهاب إلى دليل QuickStart للبدء. لتثبيت عميل NOS ، يمكنك تشغيل الأمر التالي:
conda create -n nos python=3.8 -y
conda activate nos
pip install torch-nos بمجرد تثبيت العميل ، يمكنك بدء تشغيل خادم NOS عبر NOS serve CLI. سيؤدي ذلك إلى اكتشاف بيئتك المحلية تلقائيًا ، وتنزيل صورة وقت تشغيل Docker وتدوير خادم NOS:
nos serve up --http --logging-level INFO أنت الآن مستعد لتشغيل طلب الاستدلال الأول مع NOS! يمكنك تشغيل أي من الأوامر التالية لتجربة الأشياء. يمكنك تعيين مستوى التسجيل على DEBUG إذا كنت تريد المزيد من المعلومات التفصيلية من الخادم.
يوفر NOS خادمًا متوافقًا مع OpenAI مع دعم البث بحيث يمكنك توصيل عميل LLM المتوافق مع Openai المفضل لديك للتحدث إلى NOS.
GRPC API ⚡
from nos . client import Client
client = Client ()
model = client . Module ( "TinyLlama/TinyLlama-1.1B-Chat-v1.0" )
response = model . chat ( message = "Tell me a story of 1000 words with emojis" , _stream = True )استراحة API
curl
-X POST http://localhost:8000/v1/chat/completions
-H " Content-Type: application/json "
-d ' {
"model": "TinyLlama/TinyLlama-1.1B-Chat-v1.0",
"messages": [{
"role": "user",
"content": "Tell me a story of 1000 words with emojis"
}],
"temperature": 0.7,
"stream": true
} 'بناء روبوتات Discord Midjourney في ثوان.
GRPC API ⚡
from nos . client import Client
client = Client ()
sdxl = client . Module ( "stabilityai/stable-diffusion-xl-base-1-0" )
image , = sdxl ( prompts = [ "hippo with glasses in a library, cartoon styling" ],
width = 1024 , height = 1024 , num_images = 1 )استراحة API
curl
-X POST http://localhost:8000/v1/infer
-H ' Content-Type: application/json '
-d ' {
"model_id": "stabilityai/stable-diffusion-xl-base-1-0",
"inputs": {
"prompts": ["hippo with glasses in a library, cartoon styling"],
"width": 1024, "height": 1024,
"num_images": 1
}
} 'بناء بحث دلالي قابل للتطوير للصور/مقاطع الفيديو في دقائق.
GRPC API ⚡
from nos . client import Client
client = Client ()
clip = client . Module ( "openai/clip-vit-base-patch32" )
txt_vec = clip . encode_text ( texts = [ "fox jumped over the moon" ])استراحة API
curl
-X POST http://localhost:8000/v1/infer
-H ' Content-Type: application/json '
-d ' {
"model_id": "openai/clip-vit-base-patch32",
"method": "encode_text",
"inputs": {
"texts": ["fox jumped over the moon"]
}
} 'أداء النسخ الصوتي في الوقت الحقيقي باستخدام الهمس.
GRPC API ⚡
from pathlib import Path
from nos . client import Client
client = Client ()
model = client . Module ( "openai/whisper-small.en" )
with client . UploadFile ( Path ( "audio.wav" )) as remote_path :
response = model ( path = remote_path )
# {"chunks": ...}استراحة API
curl
-X POST http://localhost:8000/v1/infer/file
-H ' accept: application/json '
-H ' Content-Type: multipart/form-data '
-F ' model_id=openai/whisper-small.en '
-F ' [email protected] 'قم بتشغيل مهام الرؤية الكلاسيكية في 2 سطرين من الكود.
GRPC API ⚡
from pathlib import Path
from nos . client import Client
client = Client ()
model = client . Module ( "yolox/medium" )
response = model ( images = [ Image . open ( "image.jpg" )])استراحة API
curl
-X POST http://localhost:8000/v1/infer/file
-H ' accept: application/json '
-H ' Content-Type: multipart/form-data '
-F ' model_id=yolox/medium '
-F ' [email protected] 'هل تريد تشغيل نماذج غير مدعومة من NOS؟ يمكنك بسهولة إضافة النماذج الخاصة بك باتباع الأمثلة في ملعب NOS.
تم ترخيص هذا المشروع بموجب ترخيص Apache-2.0.
تقوم NOS بجمع بيانات الاستخدام المجهولة باستخدام Sentry. يتم استخدام هذا لمساعدتنا على فهم كيفية استخدام المجتمع NOS ولمساعدتنا على تحديد أولويات الميزات. يمكنك إلغاء الاشتراك في القياس عن بُعد عن طريق ضبط NOS_TELEMETRY_ENABLED=0 .
نرحب بالمساهمات! يرجى الاطلاع على دليل المساهمة لدينا لمزيد من المعلومات.
