submarine

Apa itu kapal selam Apache?

Apache Submarine (Submarine Singkat) adalah platform pembelajaran mesin ujung ke ujung untuk memungkinkan para ilmuwan data membuat alur kerja pembelajaran mesin ujung ke ujung. Pada kapal selam , para ilmuwan data dapat menyelesaikan setiap tahap dalam siklus hidup model ML, termasuk eksplorasi data, pembuatan pipa data, pelatihan model, melayani, dan pemantauan.

Mengapa kapal selam?

Beberapa proyek open-source dan komersial berusaha membangun platform ML ujung ke ujung. Apa visi kapal selam?

Masalah

1. Banyak platform tidak memiliki antarmuka pengguna yang mudah digunakan (API, SDK, dan IDE, dll.)
2. Di perusahaan yang sama, para ilmuwan data dalam tim yang berbeda biasanya menghabiskan banyak waktu untuk pengembangan set dan model fitur yang ada.
3. Data para ilmuwan menekankan pada tugas-tugas khusus domain (misalnya klik-through-rate), tetapi mereka perlu mengimplementasikan model mereka dari awal dengan SDK yang disediakan oleh platform yang ada.
4. Banyak platform tidak memiliki meja kerja terpadu untuk mengelola setiap komponen dalam siklus hidup ML.

Theodore Levitt pernah berkata:

 “People don’t want to buy a quarter-inch drill. They want a quarter-inch hole.”

Tujuan kapal selam

Pelatihan Model (Eksperimen)

• Jalankan/lacak experiment pelatihan terdistribusi pada Prem atau cloud melalui UI/API/SDK yang mudah digunakan.
• Mudah bagi para ilmuwan data untuk mengelola versi experiment dan ketergantungan environment .
• Dukung kerangka kerja pembelajaran mesin populer, termasuk TensorFlow , Pytorch , Horovod , dan MXNet
• Berikan templat yang telah ditentukan sebelumnya untuk para ilmuwan data untuk mengimplementasikan tugas-tugas khusus domain dengan mudah (misalnya menggunakan templat DeepFM untuk membangun model prediksi CTR)
• Dukung banyak sumber daya komputasi (misalnya CPU dan GPU, dll.)
• Dukung kubernet dan benang
• Pipeline juga ada di simpanan, kami akan melihat ke dalam pipa untuk pelatihan di masa depan.

Layanan Notebook

• Kapal selam bertujuan untuk menyediakan layanan notebook (misalnya Jupyter Notebook) yang memungkinkan pengguna untuk mengelola instance notebook yang berjalan di cluster.

Manajemen Model (Melayani/Versi/Pemantauan, dll.)

• Manajemen Model untuk Model-Serving/Versioning/Monitoring ada di peta jalan.

Antarmuka pengguna yang mudah digunakan

Seperti yang disebutkan di atas, UI kapal selam untuk memberikan UI ramah-pengenalan data untuk membuat para ilmuwan data memiliki pengalaman pengguna yang baik. Di sini beberapa contoh.

Contoh: Kirim Eksperimen TensorFlow Terdistribusi melalui Submarine Python SDK

Jalankan Eksperimen Mnist Tensorflow

 # New a submarine client of the submarine server
submarine_client = submarine . ExperimentClient ( host = 'http://localhost:8080' )

# The experiment's environment, could be Docker image or Conda environment based
environment = EnvironmentSpec ( image = 'apache/submarine:tf-dist-mnist-test-1.0' )

# Specify the experiment's name, framework it's using, namespace it will run in,
# the entry point. It can also accept environment variables. etc.
# For PyTorch job, the framework should be 'Pytorch'.
experiment_meta = ExperimentMeta ( name = 'mnist-dist' ,
                                 namespace = 'default' ,
                                 framework = 'Tensorflow' ,
                                 cmd = 'python /var/tf_dist_mnist/dist_mnist.py --train_steps=100' )
# 1 PS task of 2 cpu, 1GB
ps_spec = ExperimentTaskSpec ( resources = 'cpu=2,memory=1024M' ,
                             replicas = 1 )
# 1 Worker task
worker_spec = ExperimentTaskSpec ( resources = 'cpu=2,memory=1024M' ,
                                 replicas = 1 )

# Wrap up the meta, environment and task specs into an experiment.
# For PyTorch job, the specs would be "Master" and "Worker".
experiment_spec = ExperimentSpec ( meta = experiment_meta ,
                                 environment = environment ,
                                 spec = { 'Ps' : ps_spec , 'Worker' : worker_spec })

# Submit the experiment to submarine server
experiment = submarine_client . create_experiment ( experiment_spec = experiment_spec )

# Get the experiment ID
id = experiment [ 'experimentId' ]

Meminta percobaan tertentu

 submarine_client . get_experiment ( id )

Tunggu selesai

 submarine_client . wait_for_finish ( id )

Dapatkan log eksperimen

 submarine_client . get_log ( id )

Dapatkan semua eksperimen berjalan

 submarine_client . list_experiments ( status = 'running' )

Untuk awal yang cepat, lihat kapal selam di K8S

Contoh: Kirim pekerjaan template percobaan yang telah ditentukan sebelumnya

Contoh: Kirimkan percobaan melalui UI kapal selam

(Tersedia di 0.5.0, lihat peta jalan)

Arsitektur, desain, dan persyaratan

Jika Anda ingin tahu lebih banyak tentang arsitektur, komponen, persyaratan, dan dokumen desain kapal selam, mereka dapat ditemukan di arsitektur dan permintaan

Dokumentasi Desain Detail, Catatan Implementasi dapat ditemukan di: Catatan Implementasi

Komunitas kapal selam Apache

Baca Panduan Komunitas Kapal Selam Apache

Cara berkontribusi panduan berkontribusi

Saluran Slack Login Submarine: https://join.slack.com/t/asf-submarine/shared_invite

Pelacakan masalah: https://issues.apache.org/jira/projects/submarine

Dokumen pengguna

Lihat Halaman Beranda Panduan Pengguna

Dokumen Pengembang

Lihat Halaman Beranda Panduan Pengembang

Peta jalan

Apa yang harus diketahui lebih banyak tentang apa yang akan terjadi untuk kapal selam? Silakan periksa peta jalannya: https://cwiki.apache.org/confluence/display/submarine/roadmap

Changelog

Dari sini, Anda dapat mengetahui changelog dan pelacak masalah dari berbagai versi kapal selam Apache.

Sumber daya

Apache Submarine: Platform Pembelajaran Mesin Terpadu Dibuat Sederhana di Euromlsys '22

Lisensi

Proyek kapal selam Apache dilisensikan di bawah lisensi Apache 2.0. Lihat file lisensi untuk detailnya.