mlx omni server

Servidor mlx omni

MLX Omni Server es un servidor de inferencia local alimentado por el marco MLX de Apple, diseñado específicamente para chips Apple Silicon (M-Series). Implementa puntos finales de API compatibles con OpenaI, que permite una integración perfecta con los clientes existentes de OpenAI SDK mientras aprovecha el poder de la inferencia ML local.

Características

• Apple Silicon Optimizado : construido en el marco MLX, optimizado para chips de la serie M1/M2/M3/M4
• ? Compatible de API de OpenAI : reemplazo de entrega de puntos finales de API de OpenAI
• Capacidades de IA múltiples :
  • Procesamiento de audio (TTS y STT)
  • Finalización del chat
  • Generación de imágenes
• ⚡ Alto rendimiento : inferencia local con aceleración de hardware
• ? Privacidad primero : todo el procesamiento ocurre localmente en su máquina
• ? Soporte de SDK : trabaja con SDK oficial Operai y otros clientes compatibles

Puntos finales de API compatibles

El servidor implementa puntos finales compatibles con OpenAI:

• Finalizaciones de chat: /v1/chat/completions
  • ✅ Chat
  • ✅ Herramientas, llamadas de función
  • ✅ Logprobs
  • ? Visión
• Audio
  • ✅ /v1/audio/speech -texto a voz
  • ✅ /v1/audio/transcriptions -Speech-to-Text
• Modelos
  • ✅ /v1/models - modelos de listas
  • ✅ /v1/models/{model} - recuperar o eliminar modelo
• Imágenes
  • ✅ /v1/images/generations - Generación de imágenes

Instalación

 # Install using pip
pip install mlx-omni-server

Comienzo rápido

1. Inicie el servidor:

 # If installed via pip as a package
mlx-omni-server

Puede usar --port para especificar un puerto diferente, como: mlx-omni-server --port 10240 , el puerto predeterminado es 10240.

Puede ver más parámetros de inicio utilizando mlx-omni-server --help .

2. Úselo con OpenAI SDK:

 from openai import OpenAI

# Configure client to use local server
client = OpenAI (
    base_url = "http://localhost:10240/v1" ,  # Point to local server
    api_key = "not-needed"  # API key is not required for local server
)

# Text-to-Speech Example
response = client . audio . speech . create (
    model = "lucasnewman/f5-tts-mlx" ,
    input = "Hello, welcome to MLX Omni Server!"
)

# Speech-to-Text Example
audio_file = open ( "speech.mp3" , "rb" )
transcript = client . audio . transcriptions . create (
    model = "mlx-community/whisper-large-v3-turbo" ,
    file = audio_file
)

# Chat Completion Example
chat_completion = client . chat . completions . create (
    model = "meta-llama/Llama-3.2-3B-Instruct" ,
    messages = [
        { "role" : "user" , "content" : "What can you do?" }
    ]
)

# Image Generation Example
image_response = client . images . generate (
    model = "argmaxinc/mlx-FLUX.1-schnell" ,
    prompt = "A serene landscape with mountains and a lake" ,
    n = 1 ,
    size = "512x512"
)

Puede ver más ejemplos en ejemplos.

Que contribuye

¡Agradecemos las contribuciones! Si está interesado en contribuir al servidor MLX Omni, consulte nuestra Guía de desarrollo para obtener información detallada sobre:

• Configuración del entorno de desarrollo
• Ejecutando el servidor en modo de desarrollo
• Pautas contribuyentes
• Prueba y documentación

Para cambios importantes, abra primero un problema para discutir lo que le gustaría cambiar.

Licencia

Este proyecto tiene licencia bajo la licencia MIT; consulte el archivo de licencia para obtener más detalles.

Expresiones de gratitud

• Construido con MLX por Apple
• Diseño de API inspirado en OpenAi
• Utiliza FastAPI para la implementación del servidor
• Chat (generación de texto) por mlx-lm
• Generación de imágenes por DiffusionKit
• Texto a voz de Lucasnewman/F5-TTS-MLX
• Habla a texto por mlx-whisper

Descargo de responsabilidad

Este proyecto no está afiliado o respaldado por OpenAI o Apple. Es una implementación independiente que proporciona API compatibles con OpenAI utilizando el marco MLX de Apple.

¿Historia de la estrella?