mlx omni server

MLX Omni Server

MLX Omni Server ist ein lokaler Inferenzserver, der vom MLX-Framework von Apple betrieben wird, das speziell für Apple Silicon (M-Serie) Chips entwickelt wurde. Es implementiert OpenAI-kompatible API-Endpunkte und ermöglicht eine nahtlose Integration in vorhandene OpenAI-SDK-Clients und nutzt gleichzeitig die Leistung der lokalen ML-Inferenz.

Merkmale

• Apple Silicon optimiert : auf dem MLX -Framework aufgebaut, optimiert für M1/M2/M3/M4 -Serie -Chips
• ? OpenAI API kompatibel : Drop-In-Ersatz für OpenAI-API-Endpunkte
• Mehrere KI -Funktionen :
  • Audioverarbeitung (TTS & STT)
  • Chat -Abschluss
  • Bildgenerierung
• ⚡ hohe Leistung : Lokale Inferenz mit Hardwarebeschleunigung
• ? Privacy-First : Alle Verarbeitung erfolgt lokal auf Ihrer Maschine
• ? SDK -Unterstützung : Arbeitet mit offiziellen OpenAI SDK und anderen kompatiblen Kunden zusammen

Unterstützte API -Endpunkte

Der Server implementiert OpenAI-kompatible Endpunkte:

• CHAT -Abschluss: /v1/chat/completions
  • ✅ Chat
  • ✅ Tools, Funktionsaufruf
  • ✅ logProbs
  • ? Vision
• Audio
  • ✅ /v1/audio/speech -text-zu speze
  • ✅ /v1/audio/transcriptions -Sprache-zu-Text
• Modelle
  • ✅ /v1/models - Listenmodelle
  • ✅ /v1/models/{model} - Modell abrufen oder löschen
• Bilder
  • ✅ /v1/images/generations - Bilderzeugung

Installation

 # Install using pip
pip install mlx-omni-server

Schneller Start

1. Starten Sie den Server:

 # If installed via pip as a package
mlx-omni-server

Sie können verwenden --port , um einen anderen Port anzugeben, wie z mlx-omni-server --port 10240

Sie können weitere Startparameter ansehen, indem Sie mlx-omni-server --help verwenden.

2. Verwendung mit OpenAI SDK:

 from openai import OpenAI

# Configure client to use local server
client = OpenAI (
    base_url = "http://localhost:10240/v1" ,  # Point to local server
    api_key = "not-needed"  # API key is not required for local server
)

# Text-to-Speech Example
response = client . audio . speech . create (
    model = "lucasnewman/f5-tts-mlx" ,
    input = "Hello, welcome to MLX Omni Server!"
)

# Speech-to-Text Example
audio_file = open ( "speech.mp3" , "rb" )
transcript = client . audio . transcriptions . create (
    model = "mlx-community/whisper-large-v3-turbo" ,
    file = audio_file
)

# Chat Completion Example
chat_completion = client . chat . completions . create (
    model = "meta-llama/Llama-3.2-3B-Instruct" ,
    messages = [
        { "role" : "user" , "content" : "What can you do?" }
    ]
)

# Image Generation Example
image_response = client . images . generate (
    model = "argmaxinc/mlx-FLUX.1-schnell" ,
    prompt = "A serene landscape with mountains and a lake" ,
    n = 1 ,
    size = "512x512"
)

Sie können weitere Beispiele in Beispielen anzeigen.

Beitragen

Wir begrüßen Beiträge! Wenn Sie an MLX Omni Server beitragen möchten, finden Sie in unserem Entwicklungshandbuch für detaillierte Informationen:

• Einrichtung der Entwicklungsumgebung
• Ausführen des Servers im Entwicklungsmodus
• Richtlinien beitragen
• Test und Dokumentation

Für wichtige Änderungen öffnen Sie zuerst ein Problem, um zu besprechen, was Sie ändern möchten.

Lizenz

Dieses Projekt ist unter der MIT -Lizenz lizenziert - Einzelheiten finden Sie in der Lizenzdatei.

Anerkennung

• Gebaut mit MLX von Apple
• API -Design inspiriert von OpenAI
• Verwendet Fastapi für die Server -Implementierung
• Chat (Textgenerierung) von MLX-LM
• Bildgenerierung durch Diffusionkit
• Text-to-Speech von Lucasnewman/F5-TTS-MLX
• Sprache zu Text von MLX-Whisper

Haftungsausschluss

Dieses Projekt ist nicht mit OpenAI oder Apple verbunden oder unterstützt. Es handelt sich um eine unabhängige Implementierung, die OpenAI-kompatible APIs mit dem MLX-Framework von Apple liefert.

Sterngeschichte?