PicoMLXServer
1.0.0
PICO MLXサーバーは、AppleのMLXAIフレームワークを始める最も簡単な方法です
PICO MLXサーバーは、MLXサーバー用のGUIを提供します。 MLXサーバーは、ローカルMLXモデルにAPIを提供します。これにより、PICO MLXサーバーでほとんどの既存のOpenAIチャットクライアントを使用できます。

HuggingfaceのMLXコミュニティを参照してください
PICO MLXサーバーをインストールするには、Xcodeを使用してソースを構築するか、GitHubからNotarized実行可能ファイルを直接ダウンロードします。
PicoMLXサーバーをセットアップするには、アプリを開き、
MLX -> Setup... )を使用しますSettingsで無効にすることができます

MLX -> Servers -> New Server...Create押して、デフォルトのサーバーmlx-community/Nous-Hermes-2-Mistral-7B-DPO-4bit-MLXポート8080で作成しますvボタンをクリックするか、HuggingfaceでMLXコミュニティからモデルを手動で入力します( mlx-community/ Prefixを使用してください)View Logsボタンを押して、サーバーのリアルタイムログでウィンドウを開きます
http://127.0.0.1:8080 (またはPico MLXサーバーで使用したポート)にOpenAI API互換のAIアシスタントをポイントします。 (PICO AIアシスタントの指示が間もなく来る)
カール:
curl -X GET 'http://127.0.0.1:8080/generate?prompt=write%20me%20a%20poem%20about%the%20ocean&stream=true'
POST /v1/completions APIを使用しています。詳細については、https://platform.openai.com/docs/api-reference/completions/createを参照してください。 lsof -i:8080を使用して、実行中のサーバーのPIDを見つけます)New Serverウィンドウとサーバーの状態が更新されていないServersメニューには、SwiftUIの問題がありますPico MLXサーバーは、AIエンジニア向けのオープンソースSwiftツールのバンドルの一部です。 Openaiキーを保護するためのサーバー側のSwift Openaiプロキシをお探しですか? Swift Openaiプロキシをご覧ください。
Pico MLX Server、Swift Openai Proxy、およびPico AIアシスタントは、Ray Fernandoの助けを借りてRonald Mannakによって作成されました
MLXサーバーはMustafa Aljadery&Siddharth Sharmaによって作成されました
MLX SwiftチャットとSwiftチャットから使用されたコード