mlx omni server

MLX Omni Server

MLX Omni Server-это локальный сервер локального вывода, работающий на основе Apple MLX Framework, специально разработанной для чипов Apple Silicon (M-Series). Он реализует совместимые с открытыми конечными точками API, что обеспечивает бесшовную интеграцию с существующими клиентами OpenAI SDK, одновременно используя мощность локального вывода ML.

Функции

• Оптимизированный яблочный кремниевый
• ? OpenAI API Совместима с заменой конечных точек API OpenAI
• Несколько возможностей для ИИ :
  • Обработка аудио (TTS & STT)
  • Завершение чата
  • Генерация изображений
• ⚡ Высокая производительность : локальный вывод с аппаратным ускорением
• ? Конфиденциальность- все обработка происходит локально на вашей машине
• ? Поддержка SDK : работает с официальными SDK OpenAI и другими совместимыми клиентами

Поддерживаемые конечные точки API

Сервер реализует открытые конечные точки:

• Завершение чата: /v1/chat/completions
  • ✅ чат
  • ✅ Инструменты, вызовы функций
  • ✅ logprobs
  • ? Зрение
• Аудио
  • ✅ /v1/audio/speech -текст в речь
  • ✅ /v1/audio/transcriptions -речь в тексте
• Модели
  • ✅ /v1/models - списки моделей
  • ✅ /v1/models/{model} - извлечь или удалить модель
• Изображения
  • ✅ /v1/images/generations - Генерация изображений

Установка

 # Install using pip
pip install mlx-omni-server

Быстрый старт

1. Запустить сервер:

 # If installed via pip as a package
mlx-omni-server

Вы можете использовать --port , чтобы указать другой порт, такой как: mlx-omni-server --port 10240 , порт по умолчанию составляет 10240.

Вы можете просмотреть больше параметров запуска с помощью mlx-omni-server --help .

2. Использовать с OpenAI SDK:

 from openai import OpenAI

# Configure client to use local server
client = OpenAI (
    base_url = "http://localhost:10240/v1" ,  # Point to local server
    api_key = "not-needed"  # API key is not required for local server
)

# Text-to-Speech Example
response = client . audio . speech . create (
    model = "lucasnewman/f5-tts-mlx" ,
    input = "Hello, welcome to MLX Omni Server!"
)

# Speech-to-Text Example
audio_file = open ( "speech.mp3" , "rb" )
transcript = client . audio . transcriptions . create (
    model = "mlx-community/whisper-large-v3-turbo" ,
    file = audio_file
)

# Chat Completion Example
chat_completion = client . chat . completions . create (
    model = "meta-llama/Llama-3.2-3B-Instruct" ,
    messages = [
        { "role" : "user" , "content" : "What can you do?" }
    ]
)

# Image Generation Example
image_response = client . images . generate (
    model = "argmaxinc/mlx-FLUX.1-schnell" ,
    prompt = "A serene landscape with mountains and a lake" ,
    n = 1 ,
    size = "512x512"
)

Вы можете просмотреть больше примеров в примерах.

Внося

Мы приветствуем вклад! Если вы заинтересованы в вклад в сервер MLX Omni, ознакомьтесь с нашим руководством по разработке для подробной информации о:

• Настройка среды разработки
• Запуск сервера в режиме разработки
• Внесение руководящих принципов
• Тестирование и документация

Для серьезных изменений, пожалуйста, сначала откройте проблему, чтобы обсудить, что вы хотели бы изменить.

Лицензия

Этот проект лицензирован по лицензии MIT - для получения подробной информации см. Файл лицензии.

Благодарности

• Построен с MLX от Apple
• API Design вдохновлен Openai
• Использует FASTAPI для реализации сервера
• Чат (генерация текста) от MLX-LM
• Генерация изображений диффузионным
• Текст в речь от Lucasnewman/F5-TTS-MLX
• Речь к тексту от MLX-Whisper

Отказ от ответственности

Этот проект не связан с Openai или Apple или Apple. Это независимая реализация, которая обеспечивает API-интерфейсы, совместимые с OpenAI с использованием Framework Apple MLX.

Звездная история?