submarine
1.0.0
Apache Submarine (Submarine For Short) เป็น แพลตฟอร์มการเรียนรู้ของเครื่องจักรแบบ end-to-end เพื่อให้นักวิทยาศาสตร์ด้านข้อมูลสร้างเวิร์กโฟลว์การเรียนรู้ของเครื่องจักรแบบ end-to-end ใน เรือดำน้ำ นักวิทยาศาสตร์ข้อมูลสามารถจบแต่ละขั้นตอนในวงจรชีวิต ML แบบจำลองรวมถึงการสำรวจข้อมูลการสร้างท่อข้อมูลการฝึกอบรมแบบจำลองการให้บริการและการตรวจสอบ
โครงการโอเพนซอร์ซและเชิงพาณิชย์บางโครงการกำลังพยายามสร้างแพลตฟอร์ม ML แบบครบวงจร วิสัยทัศน์ของเรือดำน้ำคืออะไร?
Theodore Levitt เคยกล่าวไว้ว่า:
“People don’t want to buy a quarter-inch drill. They want a quarter-inch hole.”
experiment ฝึกอบรมแบบกระจายบน PREM หรือ Cloud ผ่าน UI/API/SDK ที่ใช้งานง่ายexperiment และการพึ่งพา environmentดังที่ได้กล่าวไว้ข้างต้นเรือดำน้ำพยายามจัดหา UI ที่เป็นมิตรกับนักวิทยาศาสตร์ เพื่อให้นักวิทยาศาสตร์ด้านข้อมูลมีประสบการณ์การใช้งานที่ดี นี่คือตัวอย่างบางส่วน
# New a submarine client of the submarine server
submarine_client = submarine . ExperimentClient ( host = 'http://localhost:8080' )
# The experiment's environment, could be Docker image or Conda environment based
environment = EnvironmentSpec ( image = 'apache/submarine:tf-dist-mnist-test-1.0' )
# Specify the experiment's name, framework it's using, namespace it will run in,
# the entry point. It can also accept environment variables. etc.
# For PyTorch job, the framework should be 'Pytorch'.
experiment_meta = ExperimentMeta ( name = 'mnist-dist' ,
namespace = 'default' ,
framework = 'Tensorflow' ,
cmd = 'python /var/tf_dist_mnist/dist_mnist.py --train_steps=100' )
# 1 PS task of 2 cpu, 1GB
ps_spec = ExperimentTaskSpec ( resources = 'cpu=2,memory=1024M' ,
replicas = 1 )
# 1 Worker task
worker_spec = ExperimentTaskSpec ( resources = 'cpu=2,memory=1024M' ,
replicas = 1 )
# Wrap up the meta, environment and task specs into an experiment.
# For PyTorch job, the specs would be "Master" and "Worker".
experiment_spec = ExperimentSpec ( meta = experiment_meta ,
environment = environment ,
spec = { 'Ps' : ps_spec , 'Worker' : worker_spec })
# Submit the experiment to submarine server
experiment = submarine_client . create_experiment ( experiment_spec = experiment_spec )
# Get the experiment ID
id = experiment [ 'experimentId' ] submarine_client . get_experiment ( id ) submarine_client . wait_for_finish ( id ) submarine_client . get_log ( id ) submarine_client . list_experiments ( status = 'running' )สำหรับการเริ่มต้นอย่างรวดเร็วให้ดูเรือดำน้ำใน K8S
(มีอยู่ใน 0.5.0 ดูแผนงาน)
หากคุณต้องการทราบข้อมูลเพิ่มเติมเกี่ยวกับสถาปัตยกรรมของเรือดำน้ำส่วนประกอบความต้องการและเอกสารการออกแบบพวกเขาสามารถพบได้ในสถาปัตยกรรมและที่ต้องการ
เอกสารการออกแบบโดยละเอียดบันทึกการใช้งานสามารถพบได้ที่: บันทึกการใช้งาน
อ่านคู่มือชุมชนเรือดำน้ำ Apache
วิธีการสนับสนุนคู่มือ
เข้าสู่ระบบ Submarine Slack Channel: https://join.slack.com/t/asf-submarine/shared_invite
การติดตามปัญหา: https://issues.apache.org/jira/projects/submarine
ดูโฮมเพจคู่มือผู้ใช้
ดูโฮมเพจคู่มือนักพัฒนา
จะรู้อะไรเพิ่มเติมเกี่ยวกับสิ่งที่กำลังจะมาถึงเรือดำน้ำ? โปรดตรวจสอบแผนงาน: https://cwiki.apache.org/confluence/display/submarine/roadmap
จากที่นี่คุณสามารถรู้การเปลี่ยนแปลงและตัวติดตามปัญหาของเรือดำน้ำ Apache เวอร์ชันต่าง ๆ
Apache Submarine: แพลตฟอร์มการเรียนรู้ของเครื่องแบบครบวงจรทำได้ง่ายๆที่ Euromlsys '22
โครงการเรือดำน้ำ Apache ได้รับใบอนุญาตภายใต้ใบอนุญาต Apache 2.0 ดูไฟล์ใบอนุญาตสำหรับรายละเอียด
