mlx omni server

MLX OMNI Server

MLX OMNI Server est un serveur d'inférence local alimenté par le framework MLX d'Apple, spécialement conçu pour les puces Apple Silicon (M-Series). Il met en œuvre des points de terminaison API compatibles OpenAI, permettant une intégration transparente avec les clients SDK OpenAI existants tout en tirant parti de la puissance de l'inférence ML locale.

Caractéristiques

• Apple Silicon Optimized : Construit sur MLX Framework, optimisé pour les puces M1 / ​​M2 / M3 / M4
• ? Compatible API OpenAI : remplacement de rendez-vous pour les points de terminaison de l'API OpenAI
• Capacités d'IA multiples :
  • Traitement audio (TTS & STT)
  • Achèvement de chat
  • Génération d'images
• ⚡ Haute performance : inférence locale avec l'accélération matérielle
• ? Confidentialité-première : tout le traitement se produit localement sur votre machine
• ? Support du SDK : travaille avec le SDK officiel d'Openai et d'autres clients compatibles

Points de terminaison API pris en charge

Le serveur implémente les points de terminaison compatibles OpenAI:

• CHAT EXCHELIONS: /v1/chat/completions
  • ✅ Chat
  • ✅ Outils, appels de fonction
  • ✅ Logprobs
  • ? Vision
• Audio
  • ✅ /v1/audio/speech - Text-to-Speech
  • ✅ /v1/audio/transcriptions - Speech-to-Text
• Modèles
  • ✅ /v1/models - Modèles de liste
  • ✅ /v1/models/{model} - Récupérer ou supprimer le modèle
• Images
  • ✅ /v1/images/generations - génération d'images

Installation

 # Install using pip
pip install mlx-omni-server

Démarrage rapide

1. Démarrez le serveur:

 # If installed via pip as a package
mlx-omni-server

Vous pouvez utiliser --port pour spécifier un port différent, tel que: mlx-omni-server --port 10240 , le port par défaut est 10240.

Vous pouvez afficher plus de paramètres de démarrage en utilisant mlx-omni-server --help .

2. Utiliser avec Openai SDK:

 from openai import OpenAI

# Configure client to use local server
client = OpenAI (
    base_url = "http://localhost:10240/v1" ,  # Point to local server
    api_key = "not-needed"  # API key is not required for local server
)

# Text-to-Speech Example
response = client . audio . speech . create (
    model = "lucasnewman/f5-tts-mlx" ,
    input = "Hello, welcome to MLX Omni Server!"
)

# Speech-to-Text Example
audio_file = open ( "speech.mp3" , "rb" )
transcript = client . audio . transcriptions . create (
    model = "mlx-community/whisper-large-v3-turbo" ,
    file = audio_file
)

# Chat Completion Example
chat_completion = client . chat . completions . create (
    model = "meta-llama/Llama-3.2-3B-Instruct" ,
    messages = [
        { "role" : "user" , "content" : "What can you do?" }
    ]
)

# Image Generation Example
image_response = client . images . generate (
    model = "argmaxinc/mlx-FLUX.1-schnell" ,
    prompt = "A serene landscape with mountains and a lake" ,
    n = 1 ,
    size = "512x512"
)

Vous pouvez voir plus d'exemples dans des exemples.

Contributif

Nous accueillons les contributions! Si vous souhaitez contribuer au serveur MLX Omni, veuillez consulter notre guide de développement pour des informations détaillées sur:

• Configuration de l'environnement de développement
• Exécution du serveur en mode développement
• Lignes directrices contributives
• Tests et documentation

Pour les changements majeurs, veuillez d'abord ouvrir un problème pour discuter de ce que vous souhaitez changer.

Licence

Ce projet est autorisé en vertu de la licence MIT - voir le fichier de licence pour plus de détails.

Remerciements

• Construit avec MLX par Apple
• Conception de l'API inspirée d'Openai
• Utilise Fastapi pour l'implémentation du serveur
• Chat (génération de texte) par MLX-LM
• Génération d'images par diffusionkit
• Text-to-dispeop par Lucasnewman / F5-TTS-MLX
• Discours à texte par mlx-whisper

Clause de non-responsabilité

Ce projet n'est pas affilié ou approuvé par Openai ou Apple. Il s'agit d'une implémentation indépendante qui fournit des API compatibles OpenAI à l'aide du cadre MLX d'Apple.

Histoire des étoiles?