mlx omni server

MLX OMNI Server

O MLX Omni Server é um servidor de inferência local alimentado pela estrutura MLX da Apple, projetada especificamente para chips Apple Silicon (M-Series). Ele implementa os pontos de extremidade da API compatível com o OpenAI, permitindo a integração perfeita com os clientes OpenAI SDK existentes, alavancando o poder da inferência local de ML.

Características

• Apple Silicon otimizado : construído na estrutura MLX, otimizada para chips da série M1/M2/M3/M4
• ? Compatível da API OpenAI : Substituição de Drop-In para Pontos de extremidade da API OpenAI
• Múltiplos recursos de IA :
  • Processamento de áudio (TTS & STT)
  • Conclusão do bate -papo
  • Geração de imagens
• ⚡ Alto desempenho : inferência local com aceleração de hardware
• ? Privacidade primeiro : todo o processamento acontece localmente em sua máquina
• ? Suporte SDK : trabalha com o OpenAI SDK oficial e outros clientes compatíveis

Pontos de extremidade da API suportados

O servidor implementa pontos de extremidade compatíveis com o OpenAI:

• Conclusão de bate -papo: /v1/chat/completions
  • ✅ Chat
  • ✅ Ferramentas, chamada de função
  • ✅ LogProbs
  • ? Visão
• Áudio
  • ✅ /v1/audio/speech -texto em fala
  • ✅ /v1/audio/transcriptions -fala para texto
• Modelos
  • ✅ /v1/models - modelos de lista
  • ✅ /v1/models/{model} - recuperar ou excluir modelo
• Imagens
  • ✅ /v1/images/generations - geração de imagens

Instalação

 # Install using pip
pip install mlx-omni-server

Início rápido

1. Inicie o servidor:

 # If installed via pip as a package
mlx-omni-server

Você pode usar --port para especificar uma porta diferente, como: mlx-omni-server --port 10240 , a porta padrão é 10240.

Você pode visualizar mais parâmetros de inicialização usando mlx-omni-server --help .

2. Use com o Openai SDK:

 from openai import OpenAI

# Configure client to use local server
client = OpenAI (
    base_url = "http://localhost:10240/v1" ,  # Point to local server
    api_key = "not-needed"  # API key is not required for local server
)

# Text-to-Speech Example
response = client . audio . speech . create (
    model = "lucasnewman/f5-tts-mlx" ,
    input = "Hello, welcome to MLX Omni Server!"
)

# Speech-to-Text Example
audio_file = open ( "speech.mp3" , "rb" )
transcript = client . audio . transcriptions . create (
    model = "mlx-community/whisper-large-v3-turbo" ,
    file = audio_file
)

# Chat Completion Example
chat_completion = client . chat . completions . create (
    model = "meta-llama/Llama-3.2-3B-Instruct" ,
    messages = [
        { "role" : "user" , "content" : "What can you do?" }
    ]
)

# Image Generation Example
image_response = client . images . generate (
    model = "argmaxinc/mlx-FLUX.1-schnell" ,
    prompt = "A serene landscape with mountains and a lake" ,
    n = 1 ,
    size = "512x512"
)

Você pode ver mais exemplos em exemplos.

Contribuindo

Congratulamo -nos com contribuições! Se você estiver interessado em contribuir para o MLX Omni Server, confira nosso Guia de Desenvolvimento para obter informações detalhadas sobre:

• Configurando o ambiente de desenvolvimento
• Executando o servidor no modo de desenvolvimento
• Diretrizes contribuintes
• Teste e documentação

Para grandes mudanças, abra um problema primeiro para discutir o que você gostaria de mudar.

Licença

Este projeto está licenciado sob a licença do MIT - consulte o arquivo de licença para obter detalhes.

Agradecimentos

• Construído com MLX pela Apple
• Design de API inspirado no OpenAI
• Usa o FASTAPI para a implementação do servidor
• Bate-papo (geração de texto) por mlx-lm
• Geração de imagem por difusãokit
• Texto-fala por Lucasnewman/F5-TTS-MLX
• Spean-to-texto por MLX-Whisper

Isenção de responsabilidade

Este projeto não é afiliado ou endossado pelo Openai ou Apple. É uma implementação independente que fornece APIs compatíveis com o OpenAI usando a estrutura MLX da Apple.

História da estrela?