nexa sdk
v0.0.9.7
على الجهاز ، HUB HUB | الوثائق | خلاف | المدونات | X (Twitter)
NEXA SDK هو إطار محلي للاستدلال على الجهاز لنماذج ONNX و GGML ، ودعم توليد النصوص ، وتوليد الصور ، ونماذج لغة الرؤية (VLM) ، ونماذج اللغة الصوتية ، وإمكانيات الكلام إلى النص (ASR) ، ونص من النص إلى الكلام (TTS). قابل للتثبيت عبر حزمة Python أو المثبت القابل للتنفيذ.
nexa run omniVLM ونموذج لغة الصوت (2.9B معلمات): nexa run omniaudionexa run qwen2audio ، نحن أول مجموعة أدوات مفتوحة المصدر لدعم نموذج لغة الصوت مع مكتبة GGML Tensor.nexa embed <model_path> <prompt>nexa run -hf <hf_model_id> -mt COMPUTER_VISION أو nexa run -ms <ms_model_id> -mt COMPUTER_VISIONnexa run -hf <hf_model_id> -mt NLP أو nexa run -ms <ms_model_id> -mt NLPمرحبًا بك في تقديم طلباتك من خلال القضايا ، نشحن أسبوعيًا.
مثبت MacOS
مثبت Windows
Linux Installer
curl -fsSL https://public-storage.nexa4ai.com/install.sh | sh حاول استخدام nexa-exe بدلاً من ذلك:
nexa-exe < command > لقد أصدرنا عجلات تم إنشاؤها مسبقًا للعديد من إصدارات Python والمنصات والخلفية للتثبيت المريح على صفحة الفهرس الخاصة بنا.
pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/cpu --extra-index-url https://pypi.org/simple --no-cache-dirلإصدار GPU دعم المعادن (MacOS) :
CMAKE_ARGS= " -DGGML_METAL=ON -DSD_METAL=ON " pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/metal --extra-index-url https://pypi.org/simple --no-cache-dirجرب الأمر التالي:
wget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-MacOSX-arm64.sh
bash Miniforge3-MacOSX-arm64.sh
conda create -n nexasdk python=3.10
conda activate nexasdk
CMAKE_ARGS= " -DGGML_METAL=ON -DSD_METAL=ON " pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/metal --extra-index-url https://pypi.org/simple --no-cache-dirللتثبيت مع دعم CUDA ، تأكد من أن لديك CUDA Toolkit 12.0 أو لاحقًا مثبتة.
للينكس :
CMAKE_ARGS= " -DGGML_CUDA=ON -DSD_CUBLAS=ON " pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/cu124 --extra-index-url https://pypi.org/simple --no-cache-dirلنظام التشغيل Windows PowerShell :
$env :CMAKE_ARGS= " -DGGML_CUDA=ON -DSD_CUBLAS=ON " ; pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/cu124 --extra-index-url https://pypi.org/simple --no-cache-dirلمطالبة أوامر Windows :
set CMAKE_ARGS= " -DGGML_CUDA=ON -DSD_CUBLAS=ON " & pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/cu124 --extra-index-url https://pypi.org/simple --no-cache-dirلنظام التشغيل Windows Git Bash :
CMAKE_ARGS= " -DGGML_CUDA=ON -DSD_CUBLAS=ON " pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/cu124 --extra-index-url https://pypi.org/simple --no-cache-dirإذا واجهت المشكلة التالية أثناء البناء:
جرب الأمر التالي:
CMAKE_ARGS= " -DCMAKE_CXX_FLAGS=-fopenmp " pip install nexaaiللتثبيت مع دعم ROCM ، تأكد من أن لديك ROCM 6.2.1 أو مثبت لاحقًا.
للينكس :
CMAKE_ARGS= " -DGGML_HIPBLAS=on " pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/rocm621 --extra-index-url https://pypi.org/simple --no-cache-dirللتثبيت مع دعم Vulkan ، تأكد من أن لديك Vulkan SDK 1.3.261.1 أو بعد تثبيتها.
لنظام التشغيل Windows PowerShell :
$env :CMAKE_ARGS= " -DGGML_VULKAN=on " ; pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/vulkan --extra-index-url https://pypi.org/simple --no-cache-dirلمطالبة أوامر Windows :
set CMAKE_ARGS= " -DGGML_VULKAN=on " & pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/vulkan --extra-index-url https://pypi.org/simple --no-cache-dirلنظام التشغيل Windows Git Bash :
CMAKE_ARGS= " -DGGML_VULKAN=on " pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/vulkan --extra-index-url https://pypi.org/simple --no-cache-dirكيفية استنساخ هذا الريبو
git clone --recursive https://github.com/NexaAI/nexa-sdk إذا نسيت استخدامها --recursive ، يمكنك استخدام الأمر أدناه لإضافة الجهاز الفرعي
git submodule update --init --recursiveثم يمكنك بناء وتثبيت الحزمة
pip install -e . فيما يلي تمايزنا عن الأدوات الأخرى المماثلة:
| ميزة | NEXA SDK | أولاما | الأمثل | استوديو LM |
|---|---|---|---|---|
| دعم GGML | ✅ | ✅ | ✅ | |
| دعم ONNX | ✅ | ✅ | ||
| توليد النص | ✅ | ✅ | ✅ | ✅ |
| توليد الصور | ✅ | |||
| نماذج لغة الرؤية | ✅ | ✅ | ✅ | ✅ |
| نماذج باللغة الصوتية | ✅ | |||
| نص إلى كلام | ✅ | ✅ | ||
| قدرة الخادم | ✅ | ✅ | ✅ | ✅ |
| واجهة المستخدم | ✅ | ✅ | ||
| التثبيت القابل للتنفيذ | ✅ | ✅ | ✅ |
يوفر Hub لدينا على الجهاز جميع أنواع النماذج الكمية (النص ، الصورة ، الصوت ، متعدد الوسائط) مع مرشحات RAM ، حجم الملف ، المهام ، وما إلى ذلك لمساعدتك في استكشاف النماذج بسهولة مع واجهة المستخدم. استكشف نماذج الجهاز في مركز نموذج الجهاز
أمثلة نموذجية مدعومة (القائمة الكاملة في النموذج Hub):
| نموذج | يكتب | شكل | يأمر |
|---|---|---|---|
| omniaudio | Audiolm | gguf | nexa run omniaudio |
| Qwen2Audio | Audiolm | gguf | nexa run qwen2audio |
| Octopus-V2 | استدعاء وظيفة | gguf | nexa run octopus-v2 |
| OCTO-NET | نص | gguf | nexa run octo-net |
| omnivlm | متعدد الوسائط | gguf | nexa run omniVLM |
| نانولافا | متعدد الوسائط | gguf | nexa run nanollava |
| llava-phi3 | متعدد الوسائط | gguf | nexa run llava-phi3 |
| llava-llama3 | متعدد الوسائط | gguf | nexa run llava-llama3 |
| llava1.6-mistral | متعدد الوسائط | gguf | nexa run llava1.6-mistral |
| llava1.6-Vicuna | متعدد الوسائط | gguf | nexa run llava1.6-vicuna |
| Llama3.2 | نص | gguf | nexa run llama3.2 |
| llama3-unsensored | نص | gguf | nexa run llama3-uncensored |
| GEMMA2 | نص | gguf | nexa run gemma2 |
| Qwen2.5 | نص | gguf | nexa run qwen2.5 |
| Mathqwen | نص | gguf | nexa run mathqwen |
| CodeQwen | نص | gguf | nexa run codeqwen |
| خطأ | نص | gguf/onnx | nexa run mistral |
| Deepseek-CoDer | نص | gguf | nexa run deepseek-coder |
| PHI3.5 | نص | gguf | nexa run phi3.5 |
| Openelm | نص | gguf | nexa run openelm |
| مستقر الانتشار-V2-1 | توليد الصور | gguf | nexa run sd2-1 |
| مستقر الانتشار-3-medium | توليد الصور | gguf | nexa run sd3 |
| Flux.1-Schnell | توليد الصور | gguf | nexa run flux |
| LCM-Dreamshaper | توليد الصور | gguf/onnx | nexa run lcm-dreamshaper |
| الهمس large-v3-turbo | الكلام إلى النص | بن | nexa run faster-whisper-large-turbo |
| الهمس tiny.en | الكلام إلى النص | onnx | nexa run whisper-tiny.en |
| mxbai-embed-large-v1 | التضمين | gguf | nexa embed mxbai |
| nomic-embed-text-v1.5 | التضمين | gguf | nexa embed nomic |
| All-Minilm-L12-V2 | التضمين | gguf | nexa embed all-MiniLM-L12-v2:fp16 |
| النباح | نص إلى كلام | gguf | nexa run bark-small:fp16 |
يمكنك سحب وتحويل (إلى .gguf) ، وقم بتعيين وتشغيل نماذج توليد النصوص المدعومة من Llama.cpp من HF أو MS مع NEXA SDK.
استخدم nexa run -hf <hf-model-id> أو nexa run -ms <ms-model-id> لتشغيل النماذج مع ملفات .gguf المقدمة:
nexa run -hf Qwen/Qwen2.5-Coder-7B-Instruct-GGUFnexa run -ms Qwen/Qwen2.5-Coder-7B-Instruct-GGUFملاحظة: سيُطلب منك تحديد ملف .gguf واحد. إذا كان إصدار القياس الكمي المطلوب ملفات مقسمة متعددة (مثل FP16-00001-OF-00004) ، فيرجى استخدام أداة تحويل NEXA (انظر أدناه) لتحويل النموذج وتكميته محليًا.
قم بتثبيت حزمة Nexa Python ، وقم بتثبيت أداة تحويل NEXA مع pip install "nexaai[convert]" ، ثم قم بتحويل النماذج من Huggingface باستخدام nexa convert <hf-model-id> :
nexa convert HuggingFaceTB/SmolLM2-135M-Instruct أو يمكنك تحويل النماذج من ModelsCope مع nexa convert -ms <ms-model-id> :
nexa convert -ms Qwen/Qwen2.5-7B-Instructملاحظة: تحقق من لوحة المتصدرين الخاصة بنا للحصول على معايير الأداء للإصدارات الكمية المختلفة من نماذج اللغة السائدة ومستندات العناق للتعرف على خيارات القياس.
؟ يمكنك عرض النماذج التي تم تنزيلها وتحويلها مع nexa list
ملحوظة
pip install nexaai pip install "nexaai[onnx]" في الأوامر المقدمة.pip install nexaai pip install "nexaai[eval]" في الأوامر المقدمة.pip install nexaai pip install "nexaai[convert]" في الأوامر المقدمة.--extra-index-url https://pypi.org/simple with --extra-index-url https://pypi.tuna.tsinghua.edu.cn/simple في الأوامر المقدمة.فيما يلي نظرة عامة موجزة على أوامر CLI الرئيسية:
nexa run : تشغيل الاستدلال لمختلف المهام باستخدام نماذج GGUF.nexa onnx : قم بتشغيل الاستدلال لمختلف المهام باستخدام نماذج ONNX.nexa convert : تحويل طرازات HuggingFace وتحويلها إلى نماذج GGUF.nexa server : قم بتشغيل خدمة توليد نص NEXA AI.nexa eval : قم بتشغيل مهام تقييم NEXA AI.nexa pull : اسحب نموذجًا من المسؤول أو المحور.nexa remove : قم بإزالة نموذج من الجهاز المحلي.nexa clean : تنظيف جميع ملفات النماذج.nexa list : سرد جميع النماذج في الجهاز المحلي.nexa login : تسجيل الدخول إلى NEXA API.nexa whoami : إظهار معلومات المستخدم الحالية.nexa logout : تسجيل الدخول من Nexa API.للحصول على معلومات مفصلة عن أوامر CLI والاستخدام ، يرجى الرجوع إلى وثيقة CLI المرجعية.
لبدء خادم محلي باستخدام نماذج على جهاز الكمبيوتر المحلي الخاص بك ، يمكنك استخدام أمر nexa server . للحصول على معلومات مفصلة عن إعداد الخادم ، ونقاط نهاية API ، وأمثلة الاستخدام ، يرجى الرجوع إلى مستند مرجع الخادم.
Swift SDK: يوفر واجهة برمجة تطبيقات Swifty ، مما يسمح للمطورين السريعين بدمج نماذج Llama.cpp واستخدامها بسهولة في مشاريعهم.
المزيد من المستندات
نود أن نشكر المشاريع التالية:
