mlx omni serverダウンロードmlx omni serverソースコードダウンロード

mlx omni server

AI ソースコード

v0.2.1

ダウンロード

MLX OMNIサーバー

altテキスト

MLX OMNIサーバーは、AppleのMLXフレームワークを搭載したローカル推論サーバーで、Appleシリコン（Mシリーズ）チップ向けに特別に設計されています。 OpenAI互換のAPIエンドポイントを実装し、ローカルML推論のパワーを活用しながら、既存のOpenAI SDKクライアントとのシームレスな統合を可能にします。

特徴

Apple Silicon最適化：MLXフレームワークに基づいて構築され、M1/M2/M3/M4シリーズチップ用に最適化されています
？ Openai API互換：Openai APIエンドポイントのドロップイン交換
複数のAI機能：
- オーディオ処理（TTS＆STT）
- チャットの完了
- 画像生成
⚡高性能：ハードウェアアクセラレーションによるローカル推論
？プライバシーファースト：すべての処理は、マシンでローカルで行われます
？ SDKサポート：公式のOpenai SDKおよびその他の互換性のあるクライアントと連携

サポートされているAPIエンドポイント

サーバーは、OpenAI互換のエンドポイントを実装しています。

チャットの完了： /v1/chat/completions
- ✅チャット
- ✅ツール、関数呼び出し
- ✅logprobs
- ？ビジョン
オーディオ
- ✅ /v1/audio/speechテキストからスピーチ
- ✅ /v1/audio/transcriptions音声からテキスト
モデル
- ✅ /v1/models - モデルをリストします
- ✅ /v1/models/{model} - モデルを取得または削除します
画像
- ✅ /v1/images/generations - 画像生成

インストール

 # Install using pip
pip install mlx-omni-server

クイックスタート

サーバーを開始します：

 # If installed via pip as a package
mlx-omni-server

--portを使用して、次のような異なるポートを指定できます。MLX mlx-omni-server --port 10240 、デフォルトポートは10240です。

mlx-omni-server --helpを使用して、より多くのスタートアップパラメーターを表示できます。

Openai SDKで使用：

 from openai import OpenAI

# Configure client to use local server
client = OpenAI (
    base_url = "http://localhost:10240/v1" ,  # Point to local server
    api_key = "not-needed"  # API key is not required for local server
)

# Text-to-Speech Example
response = client . audio . speech . create (
    model = "lucasnewman/f5-tts-mlx" ,
    input = "Hello, welcome to MLX Omni Server!"
)

# Speech-to-Text Example
audio_file = open ( "speech.mp3" , "rb" )
transcript = client . audio . transcriptions . create (
    model = "mlx-community/whisper-large-v3-turbo" ,
    file = audio_file
)

# Chat Completion Example
chat_completion = client . chat . completions . create (
    model = "meta-llama/Llama-3.2-3B-Instruct" ,
    messages = [
        { "role" : "user" , "content" : "What can you do?" }
    ]
)

# Image Generation Example
image_response = client . images . generate (
    model = "argmaxinc/mlx-FLUX.1-schnell" ,
    prompt = "A serene landscape with mountains and a lake" ,
    n = 1 ,
    size = "512x512"
)