PicoMLXServer

Pico MLX Server

Pico MLX Server ist der einfachste Weg, um mit dem MLX AI -Framework von Apple zu beginnen

Pico MLX Server bietet eine GUI für MLX Server. Der MLX -Server bietet eine API für lokale MLX -Modelle an, die die OpenAI -API entspricht. Auf diese Weise können Sie die meisten vorhandenen OpenAI -Chat -Clients mit Pico MLX Server verwenden.

Highlights

• Starten und stoppen Server schnell über die Menüleiste extra
• Laden Sie MLX -Modelle von der MLX -Community auf Huggingface herunter
• Installieren und Setup Python Umgebung, MLX und MLX Server aus dem Pico MLX -Server.
• Führen Sie mehrere Server auf verschiedenen Ports aus
• Zeigen Sie Protokolle der Server in Separte -Fenstern an
• Benutzerdefinierte Link zum Öffnen Ihres bevorzugten Chat -Clients (Standardeinstellungen zu Pico AI Assistant)

Unterstützte MLX -Modelle

Siehe MLX -Community über das Umarmungsface

Erste Schritte

Erstellen Sie die Quelle mit Xcode, um den Pico MLX -Server zu installieren, oder laden Sie die notariell ausführbare Datei direkt von GitHub herunter.

Öffnen Sie die App und öffnen Sie die App und öffnen Sie den Pico MLX -Server

• Installieren und Einrichten von Python, PIP, MLX und MLX Server und optional manuell Conda
• Verwenden Sie das automatisierte Setup des Pico MLX Servers ( MLX -> Setup... )
• Pico MLX Server verwendet Conda standardmäßig, um eine virtuelle Umgebung für die als Pico bezeichneten Server zu erstellen. Dies vermeidet (hoffentlich) Probleme mit der Python -Version. Conda kann in Settings deaktiviert werden

Anforderungen

• MacOS 14.0 (Sonoma) oder höher

Erstellen Sie einen neuen Server

• Wählen Sie MLX -> Servers -> New Server...
• Drücken Create , um den Standard-Server mlx-community/Nous-Hermes-2-Mistral-7B-DPO-4bit-MLX auf Port 8080 zu erstellen
• Um ein anderes Modell zu verwenden, klicken Sie auf die Schaltfläche v oder geben Sie ein Modell manuell von der MLX-Community auf Umarmung ein (verwenden Sie die mlx-community/ Präfix).
• Drücken Sie die Schaltflächen View Logs , um ein Fenster mit den Echtzeitprotokollen des Servers zu öffnen

Verwenden Sie den Pico MLX -Server mit einem AI -Client

• Zeigen Sie jede OpenAI -API -kompatible AI -Assistentin auf http://127.0.0.1:8080 (oder einen anderen Port, den Sie auf dem Pico MLX -Server verwendet haben). (Anweisungen für Pico AI Assistent in Kürze)

• Locken:

   curl -X GET 'http://127.0.0.1:8080/generate?prompt=write%20me%20a%20poem%20about%the%20ocean&stream=true'
  

API -Endpunkte

• Pico MLX Server verwendet die OpenAI POST /v1/completions -API. Weitere Informationen finden Sie unter https://platform.openai.com/docs/api-reference/completions/create.

Bekannte Probleme

• Der Pico MLX -Server erkennt nicht, ob ein Port bereits verwendet wird (Verwenden Sie lsof -i:8080 im Terminal, um die PID des laufenden Servers zu finden).
• Es gibt ein Swiftui -Problem im New Server und im Servers , in dem der Status der Server nicht aktualisiert wird

Roadmap

• Wechseln Sie von Python auf MLX Swift
• SWIFT-basiertes HTTP-Server

Verwandte Projekte

• MLX
• MLX Swift
• MLX -Server
• MLX -Community

Der Pico MLX -Server ist Teil eines Bündels von Open Source Swift -Tools für KI -Ingenieure. Suchen Sie nach einem serverseitigen Swift OpenAI-Proxy zum Schutz Ihrer OpenAI-Schlüssel? Schauen Sie sich den Swift OpenAI -Proxy an.

Autoren und Anerkennung

Pico MLX Server, Swift Openai Proxy und Pico AI Assistent wurden von Ronald Mannak mit Hilfe von Ray Fernando erstellt

Der MLX -Server wurde von Mustafa Aljadery & Siddharth Sharma erstellt

Code verwendet von MLX Swift Chat und Swift Chat