model_server

เซิร์ฟเวอร์โมเดล OpenVino ™

Model Server โฮสต์รุ่นและทำให้สามารถเข้าถึงส่วนประกอบซอฟต์แวร์ผ่านโปรโตคอลเครือข่ายมาตรฐาน: ไคลเอนต์ส่งคำขอไปยังเซิร์ฟเวอร์โมเดลซึ่งทำการอนุมานแบบจำลองและส่งการตอบกลับกลับไปยังไคลเอนต์ Model Server มีข้อได้เปรียบมากมายสำหรับการปรับใช้รุ่นที่มีประสิทธิภาพ:

• การอนุมานระยะไกลช่วยให้ใช้ไคลเอนต์น้ำหนักเบาโดยมีฟังก์ชั่นที่จำเป็นเท่านั้นในการดำเนินการเรียก API ไปยังการปรับใช้ขอบหรือคลาวด์
• แอพพลิเคชั่นเป็นอิสระจากเฟรมเวิร์กรุ่นอุปกรณ์ฮาร์ดแวร์และโครงสร้างพื้นฐาน
• แอปพลิเคชันไคลเอนต์ในภาษาการเขียนโปรแกรมใด ๆ ที่รองรับ REST หรือการโทร GRPC สามารถใช้เพื่อเรียกใช้การอนุมานจากระยะไกลบนเซิร์ฟเวอร์โมเดล
• ลูกค้าต้องการการอัปเดตน้อยลงเนื่องจากไลบรารีไคลเอนต์มีการเปลี่ยนแปลงน้อยมาก
• โทโพโลยีแบบจำลองและน้ำหนักไม่ได้สัมผัสโดยตรงกับแอปพลิเคชันไคลเอนต์ทำให้ง่ายต่อการควบคุมการเข้าถึงโมเดล
• สถาปัตยกรรมในอุดมคติสำหรับแอพพลิเคชั่นที่ใช้ไมโครเซิร์ตและการปรับใช้ในสภาพแวดล้อมคลาวด์-รวมถึง Kubernetes และกลุ่ม OpenShift
• การใช้ทรัพยากรที่มีประสิทธิภาพด้วยการปรับขนาดการอนุมานแนวนอนและแนวตั้ง

OpenVino ™ Model Server (OVMS) เป็นระบบประสิทธิภาพสูงสำหรับการให้บริการรุ่น นำไปใช้ใน C ++ เพื่อความสามารถในการปรับขนาดและปรับให้เหมาะสมสำหรับการปรับใช้กับสถาปัตยกรรม Intel เซิร์ฟเวอร์โมเดลใช้สถาปัตยกรรมและ API เดียวกันกับการให้บริการ TensorFlow และ KSERVE ในขณะที่ใช้ OpenVino สำหรับการอนุมานการอนุมาน บริการอนุมานมีให้ผ่าน GRPC หรือ REST API ทำให้การปรับใช้อัลกอริทึมใหม่และการทดลอง AI ง่ายๆ

รุ่นที่ใช้โดยเซิร์ฟเวอร์จะต้องจัดเก็บในเครื่องหรือโฮสต์จากระยะไกลโดยบริการจัดเก็บข้อมูลวัตถุ สำหรับรายละเอียดเพิ่มเติมโปรดดูการเตรียมเอกสารที่เก็บโมเดล เซิร์ฟเวอร์รุ่นทำงานภายในคอนเทนเนอร์ Docker บนโลหะเปลือยและในสภาพแวดล้อม Kubernetes เริ่มใช้เซิร์ฟเวอร์ OpenVino Model ด้วยตัวอย่างการให้บริการที่รวดเร็วจากคู่มือ QuickStart หรือสำรวจคุณลักษณะเซิร์ฟเวอร์รุ่น

อ่านบันทึกย่อเพื่อค้นหาว่ามีอะไรใหม่

คุณสมบัติที่สำคัญ:

• [ใหม่] การฝังข้อความที่เข้ากันได้กับ openai api
• [ใหม่] Reranking เข้ากันได้กับ Cohere API
• [ใหม่] การสร้างข้อความที่มีประสิทธิภาพผ่าน OpenAI API
• การดำเนินการรหัส Python
• การสตรีม GRPC
• กราฟ MediaPipe ที่ให้บริการ
• การจัดการแบบจำลอง - รวมถึงการกำหนดเวอร์ชันรุ่นและการอัปเดตแบบจำลองในรันไทม์
• อินพุตโมเดลแบบไดนามิก
• กำกับการจัดตารางเวลากราฟ Acyclic พร้อมกับโหนดที่กำหนดเองใน DAG Pipelines
• ตัวชี้วัด - ตัวชี้วัดที่เข้ากันได้กับ Prometheus Standard
• รองรับเฟรมเวิร์กหลายเฟรมเช่น TensorFlow, Paddlepaddle และ ONNX
• รองรับ AI Accelerators

หมายเหตุ: OVMS ได้รับการทดสอบใน Redhat และ Ubuntu ภาพนักเทียบท่าที่เผยแพร่ต่อสาธารณะล่าสุดนั้นขึ้นอยู่กับ Ubuntu และ UBI พวกเขาถูกเก็บไว้ใน:

• Dockerhub
• แคตตาล็อกระบบนิเวศของ Redhat

เรียกใช้เซิร์ฟเวอร์ OpenVino Model

การสาธิตเกี่ยวกับวิธีการใช้เซิร์ฟเวอร์ OpenVino Model สามารถพบได้ในคู่มือเริ่มต้นอย่างรวดเร็วสำหรับการใช้วิสัยทัศน์และการสร้างข้อความ LLM สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการใช้ Model Server ในสถานการณ์ต่าง ๆ คุณสามารถตรวจสอบคำแนะนำต่อไปนี้:

• การกำหนดค่าที่เก็บโมเดล

• ตัวเลือกการปรับใช้

• การปรับแต่งประสิทธิภาพ

• กำหนดตารางเวลากราฟ Acyclic

• การพัฒนาโหนดที่กำหนดเอง

• ให้บริการแบบจำลองสถานะ

• ปรับใช้โดยใช้แผนภูมิ Helm Kubernetes

• การปรับใช้โดยใช้ตัวดำเนินการ Kubernetes

• ใช้ข้อมูลอินพุตไบนารี

การอ้างอิง

• OpenVino ™

• เสิร์ฟ Tensorflow

• GRPC

• API พักผ่อน

• ผลการเปรียบเทียบ

• การดำเนินการอนุมานความเร็วและสเกล AI ในสถาปัตยกรรมที่หลากหลาย - การบันทึกการสัมมนาผ่านเว็บ

• มีอะไรใหม่ในเซิร์ฟเวอร์ OpenVino Model C ++

• สุขภาพเงินทุนช่วยปรับปรุงการดูแลโรคหลอดเลือดสมองด้วยตัวอย่างกรณีใช้ AI

ติดต่อ

หากคุณมีคำถามคำขอคุณสมบัติหรือรายงานข้อผิดพลาดอย่าลังเลที่จะส่งปัญหา GitHub

---

* ชื่อและแบรนด์อื่น ๆ อาจถูกอ้างว่าเป็นทรัพย์สินของผู้อื่น