PicoMLXServer

PICO MLX Server

Pico Mlx Server - самый простой способ начать работу с Apple MLX AI Framework

Pico MLX Server предоставляет графический интерфейс для сервера MLX. MLX Server предоставляет API для локальных моделей MLX, соответствующего API OpenAI. Это позволяет вам использовать большинство существующих клиентов Openai Chat с Server Pico MLX.

Основные моменты

• Запустите и останавливает серверы быстро через строку меню дополнительно
• Скачать модели MLX из сообщества MLX на Huggingface
• Установите и настройте среду Python, MLX и MLX Server с Inside Pico MLX Server.
• Запустите несколько серверов в разных портах
• Просмотреть журналы серверов в Windows Separte
• Пользовательская ссылка на открытие любимого чата (по умолчанию ассистента Pico AI)

Поддерживаемые модели MLX

Смотрите сообщество MLX на Huggingface

Начиная

Чтобы установить Pico MLX Server, создайте источник, используя XCode, или загрузите нотариально исполняемый файл непосредственно из GitHub.

Чтобы настроить Server Pico MLX, откройте приложение и

• Установить и настроить Python, PIP, MLX и MLX Server и, опционально Conda, вручную
• Используйте автоматическую настройку Pico MLX Server ( MLX -> Setup... )
• Pico MLX Server использует Conda по умолчанию, чтобы создать виртуальную среду для серверов, называемых PICO. Это (надеюсь) избежать любых проблем с версией Python. Conda может быть отключена в Settings

Требования

• MacOS 14.0 (Sonoma) или позже

Создать новый сервер

• Выберите MLX -> Servers -> New Server...
• Нажмите Create , чтобы создать сервер по умолчанию mlx-community/Nous-Hermes-2-Mistral-7B-DPO-4bit-MLX на порте 8080
• Чтобы использовать другую модель, нажмите кнопку v или введите модель вручную из сообщества MLX на HuggingFace (обязательно используйте mlx-community/ Prefix)
• Нажмите кнопки View Logs , чтобы открыть окно в журналах сервера в реальном времени

Используйте Pico MLX Server с клиентом AI

• Укажите любой API API API -помощник http://127.0.0.1:8080 (или любой другой порт, который вы использовали на сервере Pico MLX). (Инструкции для Pico Ai Assistant скоро появится)

• Скручивание:

   curl -X GET 'http://127.0.0.1:8080/generate?prompt=write%20me%20a%20poem%20about%the%20ocean&stream=true'
  

API конечные точки

• Pico MLX Server использует API POST /v1/completions . См. Для получения дополнительной информации https://platform.openai.com/docs/api-reference/completions/create.

Известные проблемы

• Server Pico Mlx Server не обнаруживает, используется ли порт (используйте lsof -i:8080 в терминале, чтобы найти пид -пид из работающего сервера)
• В окне New Server есть проблема Swiftui и меню Servers , где состояние серверов не обновляется

Дорожная карта

• Переключиться с Python на MLX Swift
• HTTP-сервер на основе Swift

Связанные проекты

• MLX
• MLX Swift
• MLX Server
• Сообщество MLX

Pico MLX Server является частью пакета инструментов Swift с открытым исходным кодом для инженеров искусственного интеллекта. Ищете сервер Swift Openai Proxy, чтобы защитить ваши ключи Openai? Проверьте Swift Openai Proxy.

Авторы и подтверждения

Pico Mlx Server, Swift Openai Proxy и Pico Ai Assistant были созданы Рональдом Маннаком с помощью Рэя Фернандо

MLX Server был создан Mustafa Aljadery & Siddharth Sharma

Код, используемый в чате MLX Swift и Swift Chat