mlx omni server

Server mlx omni

MLX OMNI Server adalah server inferensi lokal yang ditenagai oleh kerangka MLX Apple, yang dirancang khusus untuk chip Apple Silicon (M-Series). Ini mengimplementasikan titik akhir API yang kompatibel dengan openai, memungkinkan integrasi tanpa batas dengan klien OpenAI SDK yang ada sambil memanfaatkan kekuatan inferensi ML lokal.

Fitur

• Apple Silicon Dioptimalkan : Dibangun di atas kerangka kerja MLX, dioptimalkan untuk chip seri M1/M2/M3/M4
• ? Openai API Kompatibel : Penggantian drop-in untuk titik akhir API OpenAI
• Beberapa kemampuan AI :
  • Pemrosesan Audio (TTS & STT)
  • Penyelesaian Obrolan
  • Pembuatan gambar
• ⚡ Kinerja Tinggi : Kesimpulan Lokal dengan Akselerasi Perangkat Keras
• ? Privasi-pertama : Semua pemrosesan terjadi secara lokal di mesin Anda
• ? Dukungan SDK : Bekerja dengan Openai SDK resmi dan klien yang kompatibel lainnya

Titik akhir API yang didukung

Server mengimplementasikan titik akhir yang kompatibel dengan OpenAi:

• Penyelesaian Obrolan: /v1/chat/completions
  • ✅ obrolan
  • ✅ Alat, panggilan fungsi
  • ✅ LogProbs
  • ? Penglihatan
• Audio
  • ✅ /v1/audio/speech -teks-ke-kekuatan
  • ✅ /v1/audio/transcriptions -ucapan-ke-teks
• Model
  • ✅ /v1/models - Daftar model
  • ✅ /v1/models/{model} - retrieve atau hapus model
• Gambar
  • ✅ /v1/images/generations - pembuatan gambar

Instalasi

 # Install using pip
pip install mlx-omni-server

Awal yang cepat

1. Mulai server:

 # If installed via pip as a package
mlx-omni-server

Anda dapat menggunakan --port untuk menentukan port yang berbeda, seperti: mlx-omni-server --port 10240 , port default adalah 10240.

Anda dapat melihat lebih banyak parameter startup dengan menggunakan mlx-omni-server --help .

2. Gunakan dengan OpenAI SDK:

 from openai import OpenAI

# Configure client to use local server
client = OpenAI (
    base_url = "http://localhost:10240/v1" ,  # Point to local server
    api_key = "not-needed"  # API key is not required for local server
)

# Text-to-Speech Example
response = client . audio . speech . create (
    model = "lucasnewman/f5-tts-mlx" ,
    input = "Hello, welcome to MLX Omni Server!"
)

# Speech-to-Text Example
audio_file = open ( "speech.mp3" , "rb" )
transcript = client . audio . transcriptions . create (
    model = "mlx-community/whisper-large-v3-turbo" ,
    file = audio_file
)

# Chat Completion Example
chat_completion = client . chat . completions . create (
    model = "meta-llama/Llama-3.2-3B-Instruct" ,
    messages = [
        { "role" : "user" , "content" : "What can you do?" }
    ]
)

# Image Generation Example
image_response = client . images . generate (
    model = "argmaxinc/mlx-FLUX.1-schnell" ,
    prompt = "A serene landscape with mountains and a lake" ,
    n = 1 ,
    size = "512x512"
)

Anda dapat melihat lebih banyak contoh dalam contoh.

Berkontribusi

Kami menyambut kontribusi! Jika Anda tertarik untuk berkontribusi pada server MLX OMNI, silakan periksa panduan pengembangan kami untuk informasi terperinci tentang:

• Menyiapkan Lingkungan Pengembangan
• Menjalankan server dalam mode pengembangan
• Pedoman yang berkontribusi
• Pengujian dan Dokumentasi

Untuk perubahan besar, buka masalah terlebih dahulu untuk membahas apa yang ingin Anda ubah.

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT - lihat file lisensi untuk detailnya.

Ucapan Terima Kasih

• Dibangun dengan MLX oleh Apple
• Desain API Terinspirasi oleh Openai
• Menggunakan fastapi untuk implementasi server
• Obrolan (pembuatan teks) oleh MLX-LM
• Pembuatan gambar dengan difusionKit
• Teks-ke-Speech oleh LucasNewman/F5-TTS-MLX
• Pidato-ke-Teks oleh MLX-Whisper

Penafian

Proyek ini tidak berafiliasi dengan atau didukung oleh OpenAI atau Apple. Ini adalah implementasi independen yang menyediakan API yang kompatibel dengan openai menggunakan kerangka MLX Apple.

Sejarah Bintang?