PicoMLXServer

PICO MLX服務器

PICO MLX服務器是蘋果MLX AI框架開始的最簡單方法

PICO MLX服務器為MLX服務器提供GUI。 MLX服務器為本地MLX型號提供了API，並符合OpenAI API。這使您可以使用PICO MLX服務器使用大多數現有的OpenAI Chat客戶端。

亮點

• 通過菜單欄快速啟動和停止服務器額外
• 從HuggingFace下載MLX社區的MLX模型
• 從PICO MLX服務器內安裝和設置Python環境，MLX和MLX服務器。
• 在不同端口上運行多個服務器
• 查看Separt Windows中服務器的日誌
• 自定義鏈接以打開您喜歡的聊天客戶端（默認為PICO AI助手）

支持的MLX模型

在擁抱面上查看MLX社區

入門

要安裝PICO MLX服務器，請使用Xcode構建源，或直接從GitHub下載公證的可執行文件。

要設置PICO MLX服務器，請打開應用程序和

• 安裝並設置Python，PIP，MLX和MLX服務器，並選擇手動Conda
• 使用PICO MLX服務器的自動設置（ MLX -> Setup... ）
• PICO MLX服務器默認使用Conda為稱為PICO的服務器創建虛擬環境。這個（希望）將避免任何Python版本問題。 Conda可以在Settings中被禁用

要求

• MacOS 14.0（Sonoma）或更高版本

創建新服務器

• 選擇MLX -> Servers -> New Server...
• 按Create創建默認服務器mlx-community/Nous-Hermes-2-Mistral-7B-DPO-4bit-MLX在端口8080上
• 要使用其他型號，請單擊v按鈕或在HuggingFace上手動從MLX社區手動輸入模型（請確保使用mlx-community/ prefix）
• 按View Logs按鈕打開使用服務器的實時日誌的窗口

使用AI客戶端使用PICO MLX服務器

• 指向http://127.0.0.1:8080 :8080（或您在PICO MLX Server中使用的任何其他端口）兼容API兼容AI助手。 （Pico AI助手的說明即將到來）

• 捲曲：

   curl -X GET 'http://127.0.0.1:8080/generate?prompt=write%20me%20a%20poem%20about%the%20ocean&stream=true'
  

API端點

• PICO MLX服務器使用OpenAI的POST /v1/completions API。有關更多信息，請參見https://platform.openai.com/docs/api-reference/completions/create。

已知問題

• PICO MLX服務器未檢測到端口是否已經使用（在終端中使用lsof -i:8080來查找運行服務器的PID）
• 在New Server窗口和Servers狀態未更新的服務器菜單中存在SwiftUI問題

路線圖

• 從Python切換到MLX Swift
• 基於SWIFT的HTTP服務器

相關項目

• MLX
• MLX Swift
• MLX服務器
• MLX社區

PICO MLX服務器是AI工程師的開源Swift工具的一部分。尋找服務器端Swift OpenAi代理來保護您的OpenAi鍵？查看Swift Openai代理。

作者和致謝

PICO MLX服務器，Swift Openai代理和PICO AI助手是由RONALD MANNAK在Ray Fernando的幫助下創建的

MLX服務器由Mustafa Aljadery＆Siddharth Sharma創建

MLX Swift Chat和Swift Chat中使用的代碼