mlx omni server 다운로드 -MLX mlx omni server 소스 코드 다운로드

mlx omni server

AI 소스 코드

v0.2.1

다운로드

MLX OMNI 서버

대체 텍스트

MLX OMNI 서버는 Apple의 MLX 프레임 워크로 구동되는 로컬 추론 서버로, Apple Silicon (M-Series) 칩을 위해 특별히 설계되었습니다. OpenAI 호환 API 엔드 포인트를 구현하여 기존 OpenAI SDK 클라이언트와의 원활한 통합을 가능하게하면서 로컬 ML 추론의 전력을 활용합니다.

특징

Apple Silicon 최적화 : M1/M2/M3/M4 시리즈 칩에 최적화 된 MLX 프레임 워크 구축
? OpenAI API 호환 : OpenAI API 엔드 포인트에 대한 드롭 인 교체
여러 AI 기능 :
- 오디오 처리 (TTS & STT)
- 채팅 완료
- 이미지 생성
⚡ 고성능 : 하드웨어 가속에 대한 로컬 추론
? 개인 정보 보호 우선 : 모든 처리는 컴퓨터에서 로컬로 발생합니다
? SDK 지원 : 공식 OpenAI SDK 및 기타 호환 고객과 협력

지원되는 API 엔드 포인트

서버는 OpenAi 호환 엔드 포인트를 구현합니다.

채팅 완료 : /v1/chat/completions
- ✅ 채팅
- ✅ 도구, 기능 호출
- logprobs
- ? 비전
오디오
- ✅ /v1/audio/speech -텍스트 음성
- ✅ /v1/audio/transcriptions -음성-텍스트
모델
- ✅ /v1/models - 목록 모델
- ✅ /v1/models/{model} - 검색 또는 삭제 모델
이미지
- ✅ /v1/images/generations - 이미지 생성

설치

 # Install using pip
pip install mlx-omni-server

빠른 시작

서버 시작 :

 # If installed via pip as a package
mlx-omni-server

mlx-omni-server --port 10240 , 기본 포트는 10240과 같은 다른 --port 를 지정하는 데 사용할 수 있습니다.

mlx-omni-server --help 사용하여 더 많은 시작 매개 변수를 볼 수 있습니다.

OpenAi SDK와 함께 사용 :

 from openai import OpenAI

# Configure client to use local server
client = OpenAI (
    base_url = "http://localhost:10240/v1" ,  # Point to local server
    api_key = "not-needed"  # API key is not required for local server
)

# Text-to-Speech Example
response = client . audio . speech . create (
    model = "lucasnewman/f5-tts-mlx" ,
    input = "Hello, welcome to MLX Omni Server!"
)

# Speech-to-Text Example
audio_file = open ( "speech.mp3" , "rb" )
transcript = client . audio . transcriptions . create (
    model = "mlx-community/whisper-large-v3-turbo" ,
    file = audio_file
)

# Chat Completion Example
chat_completion = client . chat . completions . create (
    model = "meta-llama/Llama-3.2-3B-Instruct" ,
    messages = [
        { "role" : "user" , "content" : "What can you do?" }
    ]
)

# Image Generation Example
image_response = client . images . generate (
    model = "argmaxinc/mlx-FLUX.1-schnell" ,
    prompt = "A serene landscape with mountains and a lake" ,
    n = 1 ,
    size = "512x512"
)