หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

ผู้ให้บริการฝึกอบรม Kubeflow

สร้างสถานะ

ภาพรวม

Kubeflow Training Operator เป็นโครงการ Kubernetes-Native สำหรับการปรับแต่งและปรับขนาดการฝึกอบรมแบบกระจายของเครื่องจักรการเรียนรู้ของเครื่องจักร (ML) ที่สร้างขึ้นด้วยเฟรมเวิร์ก ML ต่างๆเช่น Pytorch, Tensorflow, Huggingface, Jax, Deepspeed, Xgboost, Paddlepaddle และอื่น ๆ

คุณสามารถเรียกใช้งานการคำนวณประสิทธิภาพสูง (HPC) กับผู้ประกอบการฝึกอบรมและ MPIJob เนื่องจากรองรับการเรียกใช้ข้อความที่ผ่านอินเตอร์เฟส (MPI) บน Kubernetes ซึ่งใช้อย่างมากสำหรับ HPC ผู้ประกอบการฝึกอบรมใช้เวอร์ชัน V1 API ของผู้ให้บริการ MPI สำหรับเวอร์ชัน MPI Operator V2 โปรดทำตามคู่มือนี้เพื่อติดตั้ง MPI Operator V2

ผู้ประกอบการฝึกอบรมช่วยให้คุณใช้เวิร์กโหลด Kubernetes เพื่อฝึกอบรมรุ่นใหญ่ของคุณอย่างมีประสิทธิภาพผ่าน Kubernetes Resources APIs ที่กำหนดเองหรือใช้ Python SDK ผู้ประกอบการฝึกอบรม

ข้อกำหนดเบื้องต้น

โปรดตรวจสอบเอกสาร Kubeflow อย่างเป็นทางการสำหรับข้อกำหนดเบื้องต้นในการติดตั้งผู้ประกอบการฝึกอบรม

การติดตั้ง

โปรดติดตามคู่มือผู้ให้บริการฝึกอบรม Kubeflow สำหรับคำแนะนำโดยละเอียดเกี่ยวกับวิธีการติดตั้งผู้ให้บริการฝึกอบรม

การติดตั้งเครื่องบินควบคุม

เรียกใช้คำสั่งต่อไปนี้เพื่อติดตั้งรีลีสที่เสถียรล่าสุดของเครื่องบินควบคุมการฝึกอบรม: v1.8.0 

kubectl apply --server-side=true -k " github.com/kubeflow/training-operator.git/manifests/overlays/standalone?ref=v1.8.0 "

เรียกใช้คำสั่งต่อไปนี้เพื่อติดตั้งการเปลี่ยนแปลงล่าสุดของเครื่องบินควบคุมการฝึกอบรม: 

kubectl apply --server-side=true -k " github.com/kubeflow/training-operator/manifests/overlays/standalone "

การติดตั้ง Python SDK

ผู้ประกอบการฝึกอบรมใช้ Python SDK เพื่อลดความซับซ้อนของการสร้างการฝึกอบรมแบบกระจายและงานปรับแต่งสำหรับนักวิทยาศาสตร์ข้อมูล

เรียกใช้คำสั่งต่อไปนี้เพื่อติดตั้งรีลีสที่เสถียรล่าสุดของการฝึกอบรม SDK: 

 pip install -U kubeflow-training

เริ่มต้น

โปรดดูคู่มือการเริ่มต้นเพื่อสร้างงานฝึกอบรมแบบกระจายครั้งแรกของคุณอย่างรวดเร็วโดยใช้ Python SDK

หากคุณต้องการทำงานโดยตรงกับ Kubernetes ทรัพยากรที่กำหนดเองโดยผู้ให้บริการฝึกอบรมให้ทำตามคู่มือ Pytorchjob MNIST

ชุมชน

ลิงค์ต่อไปนี้ให้ข้อมูลเกี่ยวกับวิธีการมีส่วนร่วมในชุมชน:

  • เข้าร่วมการประชุมชุมชน AutomL และการฝึกอบรมคณะทำงานสองสัปดาห์
  • เข้าร่วมช่อง Slack #kubeflow-training ของเรา
  • ตรวจสอบว่าใครใช้ผู้ให้บริการฝึกอบรม

นี่เป็นส่วนหนึ่งของ Kubeflow ดังนั้นโปรดดู readme ใน Kubeflow/Kubeflow เพื่อติดต่อกับชุมชน

การบริจาค

โปรดดูคู่มือการสนับสนุน

เปลี่ยนบันทึก

โปรดดูที่ Changelog

เมทริกซ์เวอร์ชัน

ตารางต่อไปนี้แสดงรายการผู้ให้บริการรุ่นล่าสุด

เวอร์ชันโอเปอเรเตอร์ เวอร์ชัน API เวอร์ชัน Kubernetes
v1.4.x v1 1.23+
v1.5.x v1 1.23+
v1.6.x v1 1.23+
v1.7.x v1 1.25+
v1.8.x v1 1.27+
latest (หัวหน้าหลัก) v1 1.27+

อ้างอิง

สำหรับการอ้างอิงที่สมบูรณ์ของคำจำกัดความทรัพยากรที่กำหนดเองโปรดดูคำจำกัดความ API

  • คำจำกัดความของ Tensorflow API
  • คำจำกัดความของ Pytorch API
  • คำจำกัดความ xgboost API
  • คำจำกัดความ MPI API
  • คำจำกัดความของ Paddlepaddle API
  • นิยาม Jax API

สำหรับรายละเอียดเกี่ยวกับ API ทรัพยากรที่กำหนดเองของผู้ประกอบการฝึกอบรมโปรดดูเอกสาร API ต่อไปนี้

การรับทราบ

โครงการนี้เริ่มต้นขึ้นในฐานะผู้ประกอบการฝึกอบรมแบบกระจายสำหรับ TensorFlow และต่อมาเราได้รวมความพยายามจากผู้ให้บริการฝึกอบรม Kubeflow อื่น ๆ เพื่อมอบประสบการณ์แบบครบวงจรและง่ายขึ้นสำหรับผู้ใช้และนักพัฒนา เราขอขอบคุณทุกคนที่ยื่นปัญหาหรือช่วยแก้ไขพวกเขาถามและตอบคำถามและเป็นส่วนหนึ่งของการอภิปรายที่สร้างแรงบันดาลใจ นอกจากนี้เรายังขอขอบคุณทุกคนที่มีส่วนร่วมและดูแลผู้ให้บริการดั้งเดิม

  • Pytorch Operator: รายชื่อผู้มีส่วนร่วมและผู้ดูแล
  • ผู้ประกอบการ MPI: รายชื่อผู้มีส่วนร่วมและผู้ดูแล
  • ผู้ประกอบการ XGBOOST: รายชื่อผู้มีส่วนร่วมและผู้ดูแล
  • ห้องสมุดสามัญ: รายชื่อผู้มีส่วนร่วมและผู้ดูแล
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด