mlx omni server下载mlx omni server源代码下载

mlx omni server

Ai源码

v0.2.1

下载

MLX OMNI服务器

Alt文字

MLX OMNI服务器是由Apple的MLX Framework提供动力的本地推理服务器，该框架专为Apple Silicon（M系列）芯片而设计。它实现了与OpenAI兼容的API端点，从而使现有的OpenAI SDK客户端无缝集成，同时利用本地ML推理的功能。

特征

Apple Silicon优化：建立在MLX框架上，针对M1/M2/M3/M4系列芯片进行了优化
？ OpenAI API兼容：OpenAI API端点的置换式替换
多个AI功能：
- 音频处理（TTS＆STT）
- 聊天完成
- 图像生成
⚡高性能：使用硬件加速的本地推断
？隐私优先：所有处理都在您的机器上本地发生
？ SDK支持：与官方的OpenAI SDK和其他兼容客户合作

支持的API端点

该服务器实现OpenAI兼容的端点：

聊天完成： /v1/chat/completions
- ✅聊天
- ✅工具，功能调用
- ✅logprobs
- ？想象
声音的
- ✅ /v1/audio/speech - 文本到语音
- ✅ /v1/audio/transcriptions - 语音到文本
型号
- ✅ /v1/models - 列表模型
- ✅ /v1/models/{model} - 检索或删除模型
图像
- ✅ /v1/images/generations图像生成

安装

 # Install using pip
pip install mlx-omni-server

快速开始

启动服务器：

 # If installed via pip as a package
mlx-omni-server

您可以使用--port指定其他端口，例如： mlx-omni-server --port 10240 ，默认端口为10240。

您可以使用mlx-omni-server --help查看更多启动参数。

与OpenAi SDK一起使用：

 from openai import OpenAI

# Configure client to use local server
client = OpenAI (
    base_url = "http://localhost:10240/v1" ,  # Point to local server
    api_key = "not-needed"  # API key is not required for local server
)

# Text-to-Speech Example
response = client . audio . speech . create (
    model = "lucasnewman/f5-tts-mlx" ,
    input = "Hello, welcome to MLX Omni Server!"
)

# Speech-to-Text Example
audio_file = open ( "speech.mp3" , "rb" )
transcript = client . audio . transcriptions . create (
    model = "mlx-community/whisper-large-v3-turbo" ,
    file = audio_file
)

# Chat Completion Example
chat_completion = client . chat . completions . create (
    model = "meta-llama/Llama-3.2-3B-Instruct" ,
    messages = [
        { "role" : "user" , "content" : "What can you do?" }
    ]
)

# Image Generation Example
image_response = client . images . generate (
    model = "argmaxinc/mlx-FLUX.1-schnell" ,
    prompt = "A serene landscape with mountains and a lake" ,
    n = 1 ,
    size = "512x512"
)