PicoMLXServer

เซิร์ฟเวอร์ pico mlx

Pico MLX Server เป็นวิธีที่ง่ายที่สุดในการเริ่มต้นด้วยกรอบ MLX AI ของ Apple

Pico MLX Server ให้ GUI สำหรับเซิร์ฟเวอร์ MLX MLX Server จัดเตรียม API สำหรับรุ่น MLX ในท้องถิ่นให้สอดคล้องกับ OpenAI API สิ่งนี้ช่วยให้คุณใช้ไคลเอนต์แชท OpenAI ที่มีอยู่ส่วนใหญ่ด้วยเซิร์ฟเวอร์ PICO MLX

ไฮไลท์

• เริ่มต้นและหยุดเซิร์ฟเวอร์อย่างรวดเร็วผ่านแถบเมนูพิเศษ
• ดาวน์โหลดรุ่น MLX จากชุมชน MLX บน HuggingFace
• ติดตั้งและตั้งค่าสภาพแวดล้อม Python, MLX และ MLX Server จากภายในเซิร์ฟเวอร์ PICO MLX
• เรียกใช้เซิร์ฟเวอร์หลายตัวบนพอร์ตที่แตกต่างกัน
• ดูบันทึกของเซิร์ฟเวอร์ใน Separte Windows
• ลิงค์ที่กำหนดเองเพื่อเปิดไคลเอนต์แชทที่คุณชื่นชอบ (ค่าเริ่มต้นไปยังผู้ช่วย Pico AI)

รุ่น MLX ที่รองรับ

ดูชุมชน MLX บน HuggingFace

เริ่มต้น

ในการติดตั้งเซิร์ฟเวอร์ PICO MLX ให้สร้างแหล่งที่มาโดยใช้ XCODE หรือดาวน์โหลดปฏิบัติการที่ได้รับการรับรองโดยตรงจาก GitHub

ในการตั้งค่าเซิร์ฟเวอร์ Pico MLX ให้เปิดแอพและ

• ติดตั้งและตั้งค่า Python, PIP, MLX และ MLX Server และเลือก conda ด้วยตนเอง
• ใช้การตั้งค่าอัตโนมัติของ Pico MLX Server ( MLX -> Setup... )
• Pico MLX Server ใช้ Conda โดยค่าเริ่มต้นเพื่อสร้างสภาพแวดล้อมเสมือนจริงสำหรับเซิร์ฟเวอร์ที่เรียกว่า Pico สิ่งนี้ (หวังว่า) จะหลีกเลี่ยงปัญหารุ่น Python ใด ๆ Conda สามารถปิดใช้งานได้ใน Settings

ความต้องการ

• MacOS 14.0 (Sonoma) หรือใหม่กว่า

สร้างเซิร์ฟเวอร์ใหม่

• เลือก MLX -> Servers -> New Server...
• กด Create เพื่อสร้างเซิร์ฟเวอร์เริ่มต้น mlx-community/Nous-Hermes-2-Mistral-7B-DPO-4bit-MLX บนพอร์ต 8080
• หากต้องการใช้โมเดลอื่นให้คลิกที่ปุ่ม v หรือพิมพ์ในรุ่นด้วยตนเองจากชุมชน MLX บน HuggingFace (ตรวจสอบให้แน่ใจว่าใช้ mlx-community/ Prefix)
• กดปุ่ม View Logs เพื่อเปิดหน้าต่างด้วยบันทึกแบบเรียลไทม์ของเซิร์ฟเวอร์

ใช้เซิร์ฟเวอร์ Pico MLX กับไคลเอนต์ AI

• ชี้ผู้ช่วย AI ของ OpenAI API ใด ๆ ที่ http://127.0.0.1:8080 (หรือพอร์ตอื่น ๆ ที่คุณใช้ในเซิร์ฟเวอร์ Pico MLX) (คำแนะนำสำหรับผู้ช่วย Pico AI เร็ว ๆ นี้)

• CURL:

   curl -X GET 'http://127.0.0.1:8080/generate?prompt=write%20me%20a%20poem%20about%the%20ocean&stream=true'
  

จุดสิ้นสุด API

• Pico MLX Server ใช้ POST /v1/completions API ของ OpenAI ดูข้อมูลเพิ่มเติม https://platform.openai.com/docs/api-reference/completions/create

ปัญหาที่รู้จัก

• เซิร์ฟเวอร์ Pico MLX ไม่ได้ตรวจพบว่ามีการใช้งานพอร์ตอยู่แล้ว (ใช้ lsof -i:8080 ในเทอร์มินัลเพื่อค้นหา PID ของเซิร์ฟเวอร์ที่ทำงานอยู่)
• มีปัญหา Swiftui ในหน้าต่าง New Server และเมนู Servers ที่สถานะของเซิร์ฟเวอร์ไม่ได้รับการอัปเดต

แผนงาน

• เปลี่ยนจาก Python เป็น MLX Swift
• เซิร์ฟเวอร์ HTTP ที่ใช้ Swift

โครงการที่เกี่ยวข้อง

• MLX
• MLX Swift
• เซิร์ฟเวอร์ MLX
• ชุมชน MLX

Pico MLX Server เป็นส่วนหนึ่งของชุดเครื่องมือ Swift โอเพนซอร์สสำหรับวิศวกร AI กำลังมองหาพร็อกซี Openai Swift Side เพื่อปกป้องคีย์ OpenAI ของคุณหรือไม่? ตรวจสอบพร็อกซี Openai Swift

ผู้เขียนและกิตติกรรมประกาศ

Pico MLX Server, Swift Openai Proxy และ Pico Ai Assistant ถูกสร้างขึ้นโดย Ronald Mannak ด้วยความช่วยเหลือจาก Ray Fernando

เซิร์ฟเวอร์ MLX ถูกสร้างขึ้นโดย Mustafa Aljadery & Siddharth Sharma

รหัสที่ใช้จาก MLX Swift Chat และ Swift Chat