Unduh hbox - Unduh Kode Sumber hbox

hbox

Kode sumber lainnya

v1.8.0

Unduh

Kami telah mengganti nama repositiry dari xlearning ke hbox.

Jika Anda memiliki klon lokal repositori, harap perbarui URL jarak jauh Anda:

git remote set-url origin https://github.com/Qihoo360/hbox.git

Hbox adalah platform penjadwalan yang nyaman dan efisien yang dikombinasikan dengan data besar dan kecerdasan buatan, dukungan untuk berbagai pembelajaran mesin, kerangka kerja pembelajaran yang mendalam. Hbox berjalan di atas benang Hadoop dan telah mengintegrasikan kerangka kerja pembelajaran yang mendalam seperti Tensornet, Tensorflow, MXNet, Caffe, Theano, Pytorch, Keras, XGBoost, Horovod, Openmpi, Tensor2Tensor. Mendukung Jadwal Sumber Daya GPU, dijalankan di Docker dan Restful API Management Interface. Hbox memiliki skalabilitas dan kompatibilitas yang memuaskan.

中文文档

Arsitektur

arsitektur
Ada tiga komponen penting dalam hbox:

Klien : Mulai dan dapatkan status aplikasi.
ApplicationMaster (AM) : Peran untuk jadwal internal dan manajer siklus hidup, termasuk distribusi data input dan manajemen kontainer.
Kontainer : Pelaksana aplikasi yang sebenarnya untuk memulai kemajuan pekerja atau PS (server parameter), memantau dan melaporkan status kemajuan ke AM, dan menyimpan output, terutama memulai layanan Tensorboard untuk aplikasi TensorFlow.

Fungsi

1 Mendukung banyak kerangka kerja belajar yang mendalam

Selain mode terdistribusi kerangka TensorFlow dan MXNet, Hbox mendukung mode mandiri dari semua kerangka kerja pembelajaran yang mendalam seperti Caffe, Theano, Pytorch. Selain itu, Hbox memungkinkan versi khusus dan multi-versi kerangka kerja secara fleksibel.

2 Manajemen Data Terpadu Berdasarkan HDFS

Data Pelatihan dan Hasil Model Simpan ke HDFS (Dukungan S3). Hbox mengaktifkan untuk menentukan strategi input untuk data input --input dengan mengatur parameter --input-strategy atau konfigurasi hbox.input.strategy . Hbox mendukung tiga cara untuk membaca data input HDFS:

Unduh : AM melintasi semua file di bawah jalur HDFS yang ditentukan dan mendistribusikan data kepada pekerja dalam file. Setiap pekerja mengunduh file dari remote ke lokal.
Placeholder : Perbedaan dengan mode unduhan adalah bahwa saya mengirim daftar file HDFS terkait ke pekerja. Proses dalam pekerja membaca data dari HDFS secara langsung.
InputFormat : Mengintegrasikan fungsi InputFormat dari MapReduce, Hbox memungkinkan pengguna untuk menentukan salah satu implementasi InputFormat untuk data input. AM membagi data input dan memberikan fragmen kepada pekerja yang berbeda. Setiap pekerja melewati fragmen yang ditugaskan melalui pipa ke kemajuan eksekusi.

Mirip dengan strategi baca, Hbox memungkinkan untuk menentukan strategi output untuk data output --output dengan mengatur parameter --output-strategy atau konfigurasi hbox.output.strategy . Ada dua jenis mode output hasil:

Unggah : Setelah program selesai, masing -masing pekerja mengunggah direktori lokal output ke jalur HDFS yang ditentukan secara langsung. Tombol, "model yang disimpan", pada antarmuka web memungkinkan pengguna untuk mengunggah hasil perantara ke jarak jauh selama eksekusi.
OutputFormat : Mengintegrasikan fungsi OutputFormat dari MapReduce, Hbox memungkinkan pengguna untuk menentukan salah satu implementasi OutputFormat untuk menyimpan hasilnya ke HDFS.

Detail lebih lanjut lihat manajemen data

3 tampilan visualisasi

Antarmuka aplikasi dapat dibagi menjadi empat bagian:

Semua kontainer ： Menampilkan daftar kontainer dan informasi yang sesuai, termasuk host kontainer, peran kontainer, keadaan kontainer saat ini, waktu mulai, waktu selesai, kemajuan saat ini.
Lihat Tensorboard : Jika diatur untuk memulai layanan Tensorboard ketika jenis aplikasi adalah TensorFlow, berikan tautan untuk memasukkan Tensorboard untuk tampilan waktu-nyata.
Simpan Model ： Jika aplikasi memiliki output, pengguna dapat mengunggah output menengah ke jalur HDFS yang ditentukan selama pelaksanaan aplikasi melalui tombol "Simpan model". Setelah unggahan selesai, tampilkan daftar jalur yang disimpan menengah.
Metrix Pekerja ： Menampilkan metrik informasi penggunaan sumber daya dari masing -masing pekerja.
Seperti yang ditunjukkan di bawah ini:

benang1

4 kompatibel dengan kode di kerangka asli

Kecuali konstruksi otomatis clusterspec pada mode TensorFlow Mode Terdistribusi, program di Mode Standalone TensorFlow dan kerangka kerja pembelajaran mendalam lainnya dapat dieksekusi di Hbox secara langsung.

Instruksi Kompilasi & Penempatan

1 persyaratan lingkungan kompilasi

JDK> = 1.8
Maven> = 3.6.3

2 Metode Kompilasi

Jalankan perintah berikut di direktori root kode sumber:

./mvnw package

Setelah menyusun, paket distribusi bernama hbox-1.1-dist.tar.gz akan dihasilkan di bawah core/target di direktori root. Membongkar paket distribusi, subdirektori berikut akan dihasilkan di bawah direktori root:

Bin: Skrip untuk Mengelola Pekerjaan Aplikasi
SBIN: Skrip untuk Layanan Sejarah
LIB: Guci dependensi
Libexec: Contoh Konfigurasi Umum dan Hbox-Site.xml
Hbox-*. Jar: Guci Hbox

Untuk mengatur konfigurasi, pengguna perlu mengatur HBOX_CONF_DIR ke folder yang berisi hbox-site.xml yang valid, atau menautkan folder ini ke $HBOX_HOME/conf .

3 Persyaratan Lingkungan Penerapan

Centos 7.2
Java> = 1.8
Hadoop = 2.6 - 3.2 (GPU membutuhkan 3.1+)
[Opsional] Lingkungan dependen untuk kerangka pembelajaran yang mendalam di node cluster, seperti TensorFlow, Numpy, Caffe.

4 Panduan Penerapan Klien Hbox

Di bawah direktori "conf" dari paket distribusi pembongkaran "$ hbox_home", konfigurasikan file terkait:

hbox-env.sh: atur variabel lingkungan, seperti:
- Java_home
- HADOOP_CONF_DIR
hbox-site.xml: Konfigurasikan properti terkait. Perhatikan bahwa properti yang terkait dengan layanan riwayat harus konsisten dengan apa yang telah dikonfigurasi ketika layanan riwayat dimulai. Untuk lebih jelasnya, silakan lihat bagian konfigurasi 。
LOG4J.PROPERTIES ostingSonfigure Level Log

5 Metode Mulai Layanan Riwayat Hbox [Opsional]

Jalankan $HBOX_HOME/sbin/start-history-server.sh .

Awal yang cepat

Gunakan $HBOX_HOME/bin/hbox-submit untuk mengirimkan aplikasi ke cluster di klien hbox. Berikut adalah contoh kirim untuk aplikasi TensorFlow.

1 Unggah data ke HDFS

Unggah direktori "data" di bawah akar paket distribusi pembongkaran ke HDFS

 cd $HBOX_HOME  
hadoop fs -put data /tmp/

2 Kirim

 cd $HBOX_HOME/examples/tensorflow
$HBOX_HOME/bin/hbox-submit 
   --app-type "tensorflow" 
   --app-name "tf-demo" 
   --input /tmp/data/tensorflow#data 
   --output /tmp/tensorflow_model#model 
   --files demo.py,dataDeal.py 
   --worker-memory 10G 
   --worker-num 2 
   --worker-cores 3 
   --ps-memory 1G 
   --ps-num 1 
   --ps-cores 2 
   --queue default 
   python demo.py --data_path=./data --save_path=./model --log_dir=./eventLog --training_epochs=10

Arti parameternya adalah sebagai berikut:

Nama Properti	Arti
nama aplikasi	Nama Aplikasi sebagai "TF-Demo"
tipe aplikasi	Jenis Aplikasi sebagai "TensorFlow"
masukan	File input, jalur HDFS adalah "/TMP/Data/TensorFlow" terkait dengan Dir lokal "./data"
keluaran	File output, jalur HDFS adalah "/tmp/tensorflow_model" terkait dengan dir ".
file	program aplikasi dan file lokal yang diperlukan, termasuk demo.py, datadeal.py
Pekerja memori	Jumlah memori yang akan digunakan untuk proses pekerja adalah 10GB
pekerja-num	Jumlah wadah pekerja untuk digunakan untuk aplikasi adalah 2
Pekerja-Cores	Jumlah inti yang akan digunakan untuk proses pekerja adalah 3
PS memori	Jumlah memori yang akan digunakan untuk proses PS adalah 1GB
ps-num	Jumlah wadah PS yang akan digunakan untuk aplikasi adalah 1
PS-CORES	Jumlah inti yang akan digunakan untuk proses PS adalah 2
antre	antrian yang diajukan aplikasi