mlx omni server下載mlx omni server源代碼下載

mlx omni server

Ai源碼

v0.2.1

下載

MLX OMNI服務器

Alt文字

MLX OMNI服務器是由Apple的MLX Framework提供動力的本地推理服務器，該框架專為Apple Silicon（M系列）芯片而設計。它實現了與OpenAI兼容的API端點，從而使現有的OpenAI SDK客戶端無縫集成，同時利用本地ML推理的功能。

特徵

Apple Silicon優化：建立在MLX框架上，針對M1/M2/M3/M4系列芯片進行了優化
？ OpenAI API兼容：OpenAI API端點的置換式替換
多個AI功能：
- 音頻處理（TTS＆STT）
- 聊天完成
- 圖像生成
⚡高性能：使用硬件加速的本地推斷
？隱私優先：所有處理都在您的機器上本地發生
？ SDK支持：與官方的OpenAI SDK和其他兼容客戶合作

支持的API端點

該服務器實現OpenAI兼容的端點：

聊天完成： /v1/chat/completions
- ✅聊天
- ✅工具，功能調用
- ✅logprobs
- ？想像
聲音的
- ✅ /v1/audio/speech - 文本到語音
- ✅ /v1/audio/transcriptions - 語音到文本
型號
- ✅ /v1/models - 列表模型
- ✅ /v1/models/{model} - 檢索或刪除模型
圖像
- ✅ /v1/images/generations圖像生成

安裝

 # Install using pip
pip install mlx-omni-server

快速開始

啟動服務器：

 # If installed via pip as a package
mlx-omni-server

您可以使用--port指定其他端口，例如： mlx-omni-server --port 10240 ，默認端口為10240。

您可以使用mlx-omni-server --help查看更多啟動參數。

與OpenAi SDK一起使用：

 from openai import OpenAI

# Configure client to use local server
client = OpenAI (
    base_url = "http://localhost:10240/v1" ,  # Point to local server
    api_key = "not-needed"  # API key is not required for local server
)

# Text-to-Speech Example
response = client . audio . speech . create (
    model = "lucasnewman/f5-tts-mlx" ,
    input = "Hello, welcome to MLX Omni Server!"
)

# Speech-to-Text Example
audio_file = open ( "speech.mp3" , "rb" )
transcript = client . audio . transcriptions . create (
    model = "mlx-community/whisper-large-v3-turbo" ,
    file = audio_file
)

# Chat Completion Example
chat_completion = client . chat . completions . create (
    model = "meta-llama/Llama-3.2-3B-Instruct" ,
    messages = [
        { "role" : "user" , "content" : "What can you do?" }
    ]
)

# Image Generation Example
image_response = client . images . generate (
    model = "argmaxinc/mlx-FLUX.1-schnell" ,
    prompt = "A serene landscape with mountains and a lake" ,
    n = 1 ,
    size = "512x512"
)