PicoMLXServer

Serveur pico mlx

Le serveur PICO MLX est le moyen le plus simple de commencer avec le cadre MLX AI d'Apple

Le serveur PICO MLX fournit une interface graphique pour le serveur MLX. MLX Server fournit une API pour les modèles MLX locaux conforme à l'API OpenAI. Cela vous permet d'utiliser la plupart des clients Openai Chat existants avec Pico MLX Server.

Points forts

• Démarrer et arrêter les serveurs rapidement via la barre de menu supplémentaire
• Téléchargez les modèles MLX de la communauté MLX sur HuggingFace
• Installez et configurez l'environnement Python, le serveur MLX et MLX à partir du serveur PICO MLX.
• Exécutez plusieurs serveurs sur différents ports
• Afficher les journaux des serveurs dans les fenêtres de Separte
• Lien personnalisé pour ouvrir votre client de chat préféré (par défaut à Pico Ai Assistant)

Modèles MLX pris en charge

Voir la communauté MLX sur HuggingFace

Commencer

Pour installer PICO MLX Server, créez la source à l'aide de Xcode ou téléchargez l'exécutable notarié directement à partir de GitHub.

Pour configurer le serveur PICO MLX, ouvrez l'application et

• Installer et configurer Python, Pip, MLX et MLX Server et éventuellement conda manuellement
• Utilisez la configuration automatisée du serveur PICO MLX ( MLX -> Setup... )
• Le serveur PICO MLX utilise Conda par défaut pour créer un environnement virtuel pour les serveurs appelés PICO. Cela (espérons-le) évitera tout problème de version Python. Conda peut être désactivé dans Settings

Exigences

• MacOS 14.0 (Sonoma) ou plus tard

Créer un nouveau serveur

• Sélectionnez MLX -> Servers -> New Server...
• Appuyez sur Create pour créer le serveur par défaut mlx-community/Nous-Hermes-2-Mistral-7B-DPO-4bit-MLX sur le port 8080
• Pour utiliser un modèle différent, cliquez sur le bouton v ou tapez manuellement un modèle à partir de la communauté MLX sur HuggingFace (assurez-vous d'utiliser la mlx-community/ préfixe)
• Appuyez sur les boutons View Logs pour ouvrir une fenêtre avec les journaux en temps réel du serveur

Utilisez le serveur PICO MLX avec un client AI

• Pointez tout assistant AI compatible API OpenAI à http://127.0.0.1:8080 (ou tout autre port que vous avez utilisé dans Pico MLX Server). (Instructions pour l'assistant PICO AI à venir bientôt)

• Boucle:

   curl -X GET 'http://127.0.0.1:8080/generate?prompt=write%20me%20a%20poem%20about%the%20ocean&stream=true'
  

Points de terminaison API

• Le serveur PICO MLX utilise l'API POST /v1/completions Openai. Voir pour plus d'informations https://platform.openai.com/docs/api-reference/completions/create.

Problèmes connus

• Le serveur PICO MLX ne détecte pas si un port est déjà utilisé (utilisez lsof -i:8080 dans le terminal pour trouver le PID du serveur en cours d'exécution)
• Il y a un problème Swiftui dans New Server et le menu Servers où l'état des serveurs n'est pas mis à jour

Feuille de route

• Passer de Python à Mlx Swift
• Serveur HTTP basé sur Swift

Projets connexes

• Mlx
• MLX Swift
• Serveur MLX
• Communauté MLX

Le serveur PICO MLX fait partie d'un paquet d'outils Swift open source pour les ingénieurs AI. Vous cherchez un proxy OpenAI SWIFT côté serveur pour protéger vos touches OpenAI? Découvrez Swift Openai Proxy.

Auteurs et remerciements

Le serveur PICO MLX, le proxy Swift Openai et l'assistant PICO AI ont été créés par Ronald Mannak avec l'aide de Ray Fernando

Le serveur MLX a été créé par Mustafa Aljadery & Siddharth Sharma

Code utilisé à partir de MLX Swift Chat et Swift Chat