PicoMLXServer

PICO MLX服务器

PICO MLX服务器是苹果MLX AI框架开始的最简单方法

PICO MLX服务器为MLX服务器提供GUI。 MLX服务器为本地MLX型号提供了API，并符合OpenAI API。这使您可以使用PICO MLX服务器使用大多数现有的OpenAI Chat客户端。

亮点

• 通过菜单栏快速启动和停止服务器额外
• 从HuggingFace下载MLX社区的MLX模型
• 从PICO MLX服务器内安装和设置Python环境，MLX和MLX服务器。
• 在不同端口上运行多个服务器
• 查看Separt Windows中服务器的日志
• 自定义链接以打开您喜欢的聊天客户端（默认为PICO AI助手）

支持的MLX模型

在拥抱面上查看MLX社区

入门

要安装PICO MLX服务器，请使用Xcode构建源，或直接从GitHub下载公证的可执行文件。

要设置PICO MLX服务器，请打开应用程序和

• 安装并设置Python，PIP，MLX和MLX服务器，并选择手动Conda
• 使用PICO MLX服务器的自动设置（ MLX -> Setup... ）
• PICO MLX服务器默认使用Conda为称为PICO的服务器创建虚拟环境。这个（希望）将避免任何Python版本问题。 Conda可以在Settings中被禁用

要求

• MacOS 14.0（Sonoma）或更高版本

创建新服务器

• 选择MLX -> Servers -> New Server...
• 按Create创建默认服务器mlx-community/Nous-Hermes-2-Mistral-7B-DPO-4bit-MLX在端口8080上
• 要使用其他型号，请单击v按钮或在HuggingFace上手动从MLX社区手动输入模型（请确保使用mlx-community/ prefix）
• 按View Logs按钮打开使用服务器的实时日志的窗口

使用AI客户端使用PICO MLX服务器

• 指向http://127.0.0.1:8080 :8080（或您在PICO MLX Server中使用的任何其他端口）兼容API兼容AI助手。 （Pico AI助手的说明即将到来）

• 卷曲：

   curl -X GET 'http://127.0.0.1:8080/generate?prompt=write%20me%20a%20poem%20about%the%20ocean&stream=true'
  

API端点

• PICO MLX服务器使用OpenAI的POST /v1/completions API。有关更多信息，请参见https://platform.openai.com/docs/api-reference/completions/create。

已知问题

• PICO MLX服务器未检测到端口是否已经使用（在终端中使用lsof -i:8080来查找运行服务器的PID）
• 在New Server窗口和Servers状态未更新的服务器菜单中存在SwiftUI问题

路线图

• 从Python切换到MLX Swift
• 基于SWIFT的HTTP服务器

相关项目

• MLX
• MLX Swift
• MLX服务器
• MLX社区

PICO MLX服务器是AI工程师的开源Swift工具的一部分。寻找服务器端Swift OpenAi代理来保护您的OpenAi键？查看Swift Openai代理。

作者和致谢

PICO MLX服务器，Swift Openai代理和PICO AI助手是由RONALD MANNAK在Ray Fernando的帮助下创建的

MLX服务器由Mustafa Aljadery＆Siddharth Sharma创建

MLX Swift Chat和Swift Chat中使用的代码