Unduh mlreef - Unduh Kode Sumber mlreef

mlreef

ular piton

1.0.0

Unduh

Platform Kolaborasi untuk Pembelajaran Mesin

MLREEF adalah platform ML-OPS open source yang membantu Anda berkolaborasi, mereproduksi, dan berbagi pekerjaan pembelajaran mesin Anda dengan ribuan pengguna lain.

Penting: Kami tidak lagi mendukung dan memperbarui repositori ini. Kami masih secara aktif mengerjakan proyek ini tetapi pada repo utama kami di Gitlab .

Mlreef

MLREEF adalah platform pengembangan ML/DL yang berisi empat bagian utama:

Manajemen Data - Infrastruktur Hosting dan Pemrosesan Data Berversi sepenuhnya
Publishing Code Repositories - Repositori Script Containerized dan Versi untuk Penggunaan Yang Tidak Dapat Diubah dalam Data Pipelines
Eksperimen Manajer - Pelacakan Eksperimen, Lingkungan dan Hasil
ML-OPS-Solusi Pipa & Orkestrasi untuk Pekerjaan ML / DL (K8S / Cloud / Bare-Metal)

Daftar & mulai bereksperimen dalam hitungan menit.

Untuk mengetahui lebih lanjut tentang bagaimana MLREEF dapat merampingkan siklus hidup pengembangan pembelajaran mesin Anda, kunjungi beranda kami

Manajemen Data

Host data Anda menggunakan repositori GIT / GIT LFS.
- Bekerja bersamaan dengan data
- Kontrol versi sepenuhnya atau LFS
- Tampilan penuh tentang pemrosesan data dan riwayat visualisasi
Hubungkan penyimpanan eksternal Anda ke mlreef dan gunakan data Anda langsung di jaringan pipa
Manajemen Set Data (Akses, Riwayat, Jalur Palangan)

Kode penerbitan

Menambahkan params Anda melalui argparse ...

 # Example params for a ResNet50 script
def process_arguments ( args ):
    parser = argparse . ArgumentParser ( description = 'ResNet50' )
    parser . add_argument ( '--input-path' , action = 'store' , help = 'path to directory of images' )
    parser . add_argument ( '--output-path' , action = 'store' , default = '.' , help = 'path to output metrics' )
    parser . add_argument ( '--height' , action = 'store' , default = 224 , help = 'height of images (int)' )
    parser . add_argument ( '--width' , action = 'store' , default = 224 , help = 'width of images (int)' )
    parser . add_argument ( '--channels' , action = 'store' , default = 3 , help = 'channels of images: 1 = grayscale, 3 = RGB ,'
                                                                      '4=RGBA (int)' )
    parser . add_argument ( '--use-pretrained' , action = 'store' , default = True , help = 'use pretrained ResNet50 weights (bool)' )
    parser . add_argument ( '--epochs' , action = 'store' , default = 5 , help = 'number of epochs for training' )
    parser . add_argument ( '--batch-size' , action = 'store' , default = 32 , help = 'batch size fed to the neural network (int)' )
    parser . add_argument ( '--validation-split' , action = 'store' , default = .25 , help = 'fraction of images to be used for '
                                                                                'validation (float)' )
    parser . add_argument ( '--class-mode' , action = 'store' , default = 'binary' , help = '"categorical", "binary", "sparse",'
                                                                                    ' "input", or None' )
    parser . add_argument ( '--learning-rate' , action = 'store' , default = 0.0001 ,
                        help = 'learning rate of Adam Optimizer (float)'
                             '' )
    parser . add_argument ( '--loss' , action = 'store' , default = 'sparse_categorical_crossentropy' , help = 'loss function used to'
                                                                                           ' compile model' )
    params = vars ( parser . parse_args ( args ))
    return params

... dan menerbitkan skrip Anda memberi Anda yang berikut:

Kontainerisasi skrip Anda
- Skrip Selalu Bekerja termasuk akses hiperparameter yang mudah di jalur pipa
- Lingkungan Eksekusi (termasuk paket & versi spesifik)
- Hyper-parameter
  - Argparser untuk parameter baris perintah dengan nilai yang saat ini digunakan
  - Kamus Parameter Eksplisit
  - Input Validasi dan Panduan
Beberapa kontainer berdasarkan cabang versi dan kode

Manajer Eksperimen

LOG SETUP EKSPERMEN Lengkap
- Info kontrol sumber lengkap termasuk perubahan lokal yang tidak dikomitmen
- Lingkungan Eksekusi (termasuk paket & versi spesifik)
- Hyper-parameter
Eksperimen Penangkapan Otomatis Eksperimen Penuh
- Log Penyimpanan Artefak dan Standard-Output
- Metrik kinerja pada percobaan individu dan grafik komparatif untuk semua percobaan
- Tampilan terperinci pada log dan output yang dihasilkan
Dukungan dan integrasi platform yang luas
- Didukung semua kerangka kerja ML/DL berbasis Python, misalnya: Pytorch, TensorFlow, Keras atau Scikit-Learn

Ml-ops

Pipelining komputasi bersamaan
Tata Kelola dan Kontrol
- Akses dan Manajemen Pengguna
- Manajemen izin tunggal
- Manajemen Sumber Daya
Manajemen model

Arsitektur mlreef

Komponen MLREEF ML dalam siklus hidup ML:

Komponen penyimpanan data yang saat ini didasarkan pada GIT dan GIT LFS.
Pengembangan model berdasarkan modul kerja (diterbitkan oleh komunitas atau tim Anda), manajemen data, pemrosesan data / visualisasi data / pipa percobaan pada manajemen yang di-host atau di-prem dan model.
ML-OPS Orkestrasi, Eksperimen dan Reproduksibilitas Alur Kerja, dan Skalabilitas.

Mengapa mlreef?

MLREEF adalah solusi kami untuk masalah yang kami bagikan dengan banyak peneliti dan pengembang lain di alam semesta pembelajaran mesin/pembelajaran dalam: melatih model pembelajaran mendalam tingkat produksi adalah proses kusut. MLREEF melacak dan mengontrol proses dengan mengaitkan kontrol versi kode, proyek penelitian, metrik kinerja, dan asal model.

Kami merancang mlreef pada praktik ilmu data terbaik yang dikombinasikan dengan pengetahuan yang diperoleh dari DevOps dan fokus yang mendalam pada kolaborasi.

Gunakan setiap hari untuk meningkatkan kolaborasi dan visibilitas di tim Anda
Buat pekerjaan di cloud dari repositori kode apa pun dengan klik tombol
Mengotomatiskan proses dan membuat pipa untuk mengumpulkan log eksperimen, output, dan data Anda
Make You ML Life Cycle Transparan dengan Katalogkan semuanya di platform MLREEF