determined

Ditentukan adalah platform pembelajaran mendalam all-in-one, kompatibel dengan Pytorch dan TensorFlow.

Itu mengurus:

• Pelatihan terdistribusi untuk hasil yang lebih cepat.
• Penyetelan hiperparameter untuk mendapatkan model terbaik.
• Manajemen Sumber Daya untuk Memotong Biaya GPU Cloud.
• Pelacakan percobaan untuk analisis dan reproduktifitas.

Bagaimana Penentuan Bekerja

Komponen utama yang ditentukan adalah Pustaka Python, Antarmuka Baris Perintah (CLI), dan UI Web.

Perpustakaan Python

Gunakan pustaka Python untuk membuat kode Pytorch atau TensorFlow Anda yang ada kompatibel dengan ditentukan.

Anda dapat melakukan ini dengan mengatur kode Anda ke dalam salah satu API berbasis kelas:

 from determined . pytorch import PyTorchTrial

class YourExperiment ( PyTorchTrial ):
  def __init__ ( self , context ):
    ...

Atau dengan hanya menggunakan fungsi yang Anda inginkan, melalui API inti:

 import determined as det

with det . core . init () as core_context :
    ...

Antarmuka baris perintah (CLI)

Anda dapat menggunakan CLI untuk:

• Mulai kluster yang ditentukan secara lokal:

 det deploy local cluster-up

• Peluncuran ditentukan pada layanan cloud, seperti Amazon Web Services (AWS) atau Google Cloud Platform (GCP):

 det deploy aws up

• Latih model Anda:

det experiment create gpt.yaml .

Konfigurasikan semuanya dari pelatihan terdistribusi hingga penyetelan hyperparameter menggunakan file YAML:

 resources :
  slots_per_trial : 8
  priority : 1
hyperparameters :
  learning_rate :
    type : double
    minval : .0001
    maxval : 1.0
searcher :
  name : adaptive_asha
  metric : validation_loss
  smaller_is_better : true 

Web UI

Gunakan UI Web untuk melihat kurva kehilangan, plot hyperparameter, kode dan snapshot konfigurasi, registrasi model, pemanfaatan cluster, log debugging, laporan profil kinerja, dan banyak lagi.

Instalasi

Untuk menginstal CLI:

pip install determined

Kemudian gunakan det deploy untuk memulai cluster yang ditentukan secara lokal, atau pada layanan cloud seperti AWS dan GCP.

Untuk detail instalasi, kunjungi panduan penempatan cluster untuk lingkungan Anda:

• Lokal (on-prem)
• AWS
• GCP
• Kubernetes
• Slurm/PBS

Contoh

Kenali ditentukan dengan mengeksplorasi 30+ contoh di folder contoh dan repo contoh yang ditentukan.

Dokumentasi

• Dokumentasi
• Panduan Mulai Cepat
• Tutorial:
  • Tutorial Mnist Pytorch
  • Tutorial Tensorflow Keras Mnist
• Panduan Pengguna:
  • API inti
  • API Pytorch
  • Keras API
  • API Kecepatan Deep

Masyarakat

Jika Anda membutuhkan bantuan, ingin mengajukan laporan bug, atau hanya ingin tetap mengikuti perkembangan berita terbaru tentang tekad, silakan bergabung dengan komunitas yang ditentukan!

• Slack adalah tempat terbaik untuk mengajukan pertanyaan tentang tekad dan mendapatkan dukungan. Klik di sini untuk bergabung dengan Slack kami.
• Anda juga dapat mengikuti kami di YouTube dan Twitter.
• Anda juga dapat bergabung dengan milis komunitas untuk mengajukan pertanyaan tentang proyek dan menerima pengumuman.
• Untuk melaporkan bug, buka masalah di GitHub.
• Untuk melaporkan masalah keamanan, kirim email ke [email protected] .

Berkontribusi

Panduan Kontributor

Lisensi

Apache v2