PicoMLXServer

Pico MLX Server

خادم Pico MLX هو أسهل طريقة للبدء في إطار عمل MLX AI الخاص بـ Apple

يوفر Pico MLX Server واجهة المستخدم الرسومية لخادم MLX. يوفر MLX Server واجهة برمجة تطبيقات لنماذج MLX المحلية تتوافق مع API Openai. يتيح لك ذلك استخدام معظم عملاء Openai دردشة مع خادم Pico MLX.

أبرز

• ابدأ وتوقف الخوادم بسرعة عبر شريط القائمة الإضافية
• قم بتنزيل نماذج MLX من مجتمع MLX على Luggingface
• قم بتثبيت وإعداد بيئة Python و MLX و MLX Server من داخل خادم Pico MLX.
• قم بتشغيل خوادم متعددة على منافذ مختلفة
• عرض سجلات الخوادم في Windows Separte
• رابط مخصص لفتح عميل الدردشة المفضل لديك (الإعدادات الافتراضية لمساعد Pico AI)

نماذج MLX المدعومة

انظر مجتمع MLX على Luggingface

ابدء

لتثبيت Pico MLX Server ، قم بإنشاء المصدر باستخدام Xcode ، أو تنزيل القابلة للتنفيذ مباشرة من Github.

لإعداد خادم Pico MLX ، افتح التطبيق و

• قم بتثبيت وإعداد Python و PIP و MLX و MLX و Conda اختياريًا يدويًا
• استخدم الإعداد الآلي لخادم Pico MLX ( MLX -> Setup... )
• يستخدم Pico MLX Server Conda افتراضيًا لإنشاء بيئة افتراضية للخوادم التي تسمى PICO. هذا (نأمل) سوف يتجنب أي مشكلات في إصدار Python. يمكن تعطيل كوندا في Settings

متطلبات

• Macos 14.0 (Sonoma) أو لاحقًا

إنشاء خادم جديد

• حدد MLX -> Servers -> New Server...
• اضغط على Create لإنشاء الخادم الافتراضي mlx-community/Nous-Hermes-2-Mistral-7B-DPO-4bit-MLX على المنفذ 8080
• لاستخدام نموذج مختلف ، انقر فوق الزر v أو اكتب نموذجًا يدويًا من مجتمع MLX على Luggingface (تأكد من استخدام mlx-community/ Prefix)
• اضغط على أزرار View Logs لفتح نافذة مع سجلات الخادم في الوقت الفعلي

استخدم خادم Pico MLX مع عميل منظمة العفو الدولية

• قم بتوزيع أي مساعد AI AI Openai على http://127.0.0.1:8080 (أو أي منفذ آخر استخدمته في خادم Pico MLX). (تعليمات لمساعد Pico AI قريبًا)

• حليقة:

   curl -X GET 'http://127.0.0.1:8080/generate?prompt=write%20me%20a%20poem%20about%the%20ocean&stream=true'
  

نقاط نهاية API

• يستخدم Pico MLX Server API من POST /v1/completions . راجع لمزيد من المعلومات https://platform.openai.com/docs/api- المرجع/completions/create.

القضايا المعروفة

• لا يكتشف Pico MLX Server ما إذا كان المنفذ قيد الاستخدام بالفعل (استخدم lsof -i:8080 في المحطة للعثور على PID لخادم التشغيل)
• هناك مشكلة Swiftui في نافذة New Server وقائمة Servers حيث لا يتم تحديث حالة الخوادم

خريطة الطريق

• قم بالتبديل من Python إلى MLX Swift
• خادم HTTP المستند إلى SWIFT

المشاريع ذات الصلة

• MLX
• MLX سويفت
• خادم MLX
• مجتمع MLX

يعد Pico MLX Server جزءًا من حزمة من أدوات SWIFT مفتوحة المصدر لمهندسي الذكاء الاصطناعي. هل تبحث عن وكيل Swift Openai Swift من جانب الخادم لحماية مفاتيح Openai؟ تحقق من Swift Openai Proxy.

المؤلفين والاعتراف

تم إنشاء خادم Pico MLX ، وكيل سويفت Openai ، ومساعد Pico AI بواسطة Ronald Mannak بمساعدة من Ray Fernando

تم إنشاء خادم MLX بواسطة Mustafa Aljadery & Siddharth Sharma

الكود المستخدم من MLX Swift Chat و Swift Chat