ดาวน์โหลด hbox - ดาวน์โหลดซอร์สโค้ด hbox

hbox

ซอร์สโค้ดอื่น ๆ

v1.8.0

ดาวน์โหลด

เราได้เปลี่ยนชื่อ repositiry จาก xlearning เป็น hbox

หากคุณมีโคลนในพื้นที่ของที่เก็บโปรดอัปเดต URL ระยะไกลของคุณ:

git remote set-url origin https://github.com/Qihoo360/hbox.git

Hbox เป็นแพลตฟอร์มการจัดตารางเวลาที่สะดวกและมีประสิทธิภาพรวมกับข้อมูลขนาดใหญ่และปัญญาประดิษฐ์สนับสนุนการเรียนรู้ของเครื่องจักรที่หลากหลายกรอบการเรียนรู้ลึก Hbox กำลังทำงานอยู่บนเส้นด้าย Hadoop และได้รวมกรอบการเรียนรู้ลึกเช่น Tensornet, Tensorflow, MxNet, Caffe, Theano, Pytorch, Keras, Xgboost， Horovod, OpenMPI, Tensor2tensor รองรับตารางทรัพยากร GPU ทำงานใน Docker และ Restful API Management Interface HBOX มีความยืดหยุ่นและความเข้ากันได้ที่น่าพอใจ

中文文档

สถาปัตยกรรม

สถาปัตยกรรม
มีองค์ประกอบสำคัญสามประการใน HBOX:

ลูกค้า : เริ่มต้นและรับสถานะของแอปพลิเคชัน
ApplicationMaster (AM) : บทบาทสำหรับกำหนดการภายในและ Lifecycle Manager รวมถึงการกระจายข้อมูลอินพุตและการจัดการคอนเทนเนอร์
คอนเทนเนอร์ : ผู้ดำเนินการจริงของแอปพลิเคชันเพื่อเริ่มความคืบหน้าของคนงานหรือ PS (พารามิเตอร์เซิร์ฟเวอร์), ตรวจสอบและรายงานสถานะของความคืบหน้าสู่ AM และบันทึกเอาต์พุตโดยเฉพาะอย่างยิ่งเริ่มบริการ Tensorboard สำหรับแอปพลิเคชัน TensorFlow

ฟังก์ชั่น

1 สนับสนุนกรอบการเรียนรู้ที่ลึกซึ้งหลายอย่าง

นอกเหนือจากโหมดการกระจายของเฟรมเวิร์ก Tensorflow และ MXNet แล้ว Hbox ยังรองรับโหมดสแตนด์อโลนของกรอบการเรียนรู้ลึกทั้งหมดเช่นคาเฟอีน, Theano, Pytorch ยิ่งไปกว่านั้น HBOX ยังอนุญาตให้รุ่นที่กำหนดเองและเฟรมเวิร์กหลายรุ่นได้อย่างยืดหยุ่น

2 การจัดการข้อมูลแบบครบวงจรตาม HDFS

ข้อมูลการฝึกอบรมและผลลัพธ์แบบจำลองบันทึกไปยัง HDFS (สนับสนุน S3) HBOX เปิดใช้งานเพื่อระบุกลยุทธ์อินพุตสำหรับข้อมูลอินพุต --input โดยการตั้งค่า --input-strategy หรือ hbox.input.strategy การกำหนดค่า HBOX สนับสนุนสามวิธีในการอ่านข้อมูลอินพุต HDFS:

ดาวน์โหลด : Am Traverses ไฟล์ทั้งหมดภายใต้เส้นทาง HDFS ที่ระบุและกระจายข้อมูลไปยังคนงานในไฟล์ ผู้ปฏิบัติงานแต่ละคนดาวน์โหลดไฟล์จากรีโมทไปยังท้องถิ่น
ตัวยึด : ความแตกต่างกับโหมดดาวน์โหลดคือการส่งรายการไฟล์ HDFS ที่เกี่ยวข้องไปยังพนักงาน กระบวนการในคนงานอ่านข้อมูลจาก HDF โดยตรง
InputFormat : รวมฟังก์ชั่น inputformat ของ MapReduce, HBOX ช่วยให้ผู้ใช้สามารถระบุการใช้งานของ InputFormat สำหรับข้อมูลอินพุต ฉันแยกข้อมูลอินพุตและกำหนดชิ้นส่วนให้กับคนงานที่แตกต่างกัน คนงานแต่ละคนผ่านชิ้นส่วนที่ได้รับมอบหมายผ่านไปป์ไลน์ไปยังความคืบหน้าการดำเนินการ

คล้ายกับกลยุทธ์การอ่าน HBOX อนุญาตให้ระบุกลยุทธ์เอาต์พุตสำหรับข้อมูลเอาท์พุท --output โดยการตั้งค่าพารามิเตอร์ --output-strategy หรือ hbox.output.strategy การกำหนดค่า โหมดเอาต์พุตผลลัพธ์มีสองประเภท:

อัปโหลด : หลังจากโปรแกรมเสร็จสิ้นพนักงานแต่ละคนจะอัปโหลดไดเรกทอรีท้องถิ่นของเอาต์พุตไปยังเส้นทาง HDFS ที่ระบุโดยตรง ปุ่ม "Saved Model" บนเว็บอินเตอร์เฟสช่วยให้ผู้ใช้สามารถอัปโหลดผลลัพธ์ระดับกลางไปยังระยะไกลในระหว่างการดำเนินการ
OutputFormat : รวมฟังก์ชั่น OutputFormat ของ MapReduce, HBOX ช่วยให้ผู้ใช้สามารถระบุการใช้งานของ OutputFormat เพื่อบันทึกผลลัพธ์ไปยัง HDFS

รายละเอียดเพิ่มเติมดู การจัดการข้อมูล

แสดงการแสดงภาพ 3 ครั้ง

อินเทอร์เฟซแอปพลิเคชันสามารถแบ่งออกเป็นสี่ส่วน:

คอนเทนเนอร์ทั้งหมด ： แสดงรายการคอนเทนเนอร์และข้อมูลที่เกี่ยวข้องรวมถึงโฮสต์คอนเทนเนอร์บทบาทคอนเทนเนอร์สถานะปัจจุบันของคอนเทนเนอร์เวลาเริ่มต้นเวลาเสร็จสิ้นความคืบหน้าปัจจุบัน
ดู Tensorboard ： หากตั้งค่าให้เริ่มบริการของ Tensorboard เมื่อประเภทของแอปพลิเคชันเป็น TensorFlow ให้ลิงก์เพื่อเข้าสู่ Tensorboard เพื่อดูแบบเรียลไทม์
บันทึกโมเดล ： หากแอปพลิเคชันมีเอาต์พุตผู้ใช้สามารถอัปโหลดเอาต์พุตกลางไปยังเส้นทาง HDFS ที่ระบุในระหว่างการดำเนินการของแอปพลิเคชันผ่านปุ่ม "บันทึกโมเดล" หลังจากการอัปโหลดเสร็จสิ้นให้แสดงรายการเส้นทางที่บันทึกไว้กลาง
Worker Metrix ： แสดงข้อมูลการใช้ทรัพยากรตัวชี้วัดของคนงานแต่ละคน
ดังที่แสดงด้านล่าง:

เส้นด้าย 1

4 เข้ากันได้กับรหัสที่เฟรมเวิร์กดั้งเดิม

ยกเว้นการก่อสร้างโดยอัตโนมัติของ Clusterspec ที่เฟรมเวิร์ก Tensorflow โหมดกระจายโปรแกรมที่ TensorFlow โหมดสแตนด์อโลนและเฟรมเวิร์กการเรียนรู้ลึกอื่น ๆ สามารถดำเนินการได้ที่ HBOX โดยตรง

คำแนะนำในการรวบรวมและการปรับใช้

1 ข้อกำหนดด้านสภาพแวดล้อมการรวบรวม

jdk> = 1.8
maven> = 3.6.3

2 วิธีการรวบรวม

เรียกใช้คำสั่งต่อไปนี้ในไดเรกทอรีรูทของซอร์สโค้ด:

./mvnw package

หลังจากรวบรวมแพ็คเกจการแจกจ่ายชื่อ hbox-1.1-dist.tar.gz จะถูกสร้างขึ้นภายใต้ core/target ในไดเรกทอรีรูท การเปิดแพ็คเกจการแจกจ่ายไดเรกทอรีย่อยต่อไปนี้จะถูกสร้างขึ้นภายใต้ไดเรกทอรีราก:

BIN: สคริปต์สำหรับการจัดการงานแอปพลิเคชัน
SBIN: สคริปต์สำหรับบริการประวัติศาสตร์
Lib: การพึ่งพาเหยือก
libexec: ตัวอย่างสคริปต์ทั่วไปและตัวอย่างการกำหนดค่า hbox-site.xml
hbox-*. jar: hbox jars

ในการตั้งค่าการกำหนดค่าผู้ใช้จะต้องตั้งค่า HBOX_CONF_DIR ไปยังโฟลเดอร์ที่มี hbox-site.xml ที่ถูกต้องหรือลิงก์โฟลเดอร์นี้ไปยัง $HBOX_HOME/conf

3 ข้อกำหนดด้านสภาพแวดล้อมการปรับใช้

Centos 7.2
Java> = 1.8
Hadoop = 2.6 - 3.2 (GPU ต้องการ 3.1+)
[ไม่บังคับ] สภาพแวดล้อมที่ต้องพึ่งพาสำหรับกรอบการเรียนรู้ลึกที่โหนดคลัสเตอร์เช่น tensorflow, numpy, คาเฟอีน

4 คู่มือการปรับใช้ไคลเอนต์ Hbox

ภายใต้ไดเรกทอรี "conf" ของแพ็คเกจการแจกจ่ายการแกะ "$ hbox_home" กำหนดค่าไฟล์ที่เกี่ยวข้อง:

hbox-env.sh: ตั้งค่าตัวแปรสภาพแวดล้อมเช่น:
- java_home
- hadoop_conf_dir
hbox-site.xml: กำหนดค่าคุณสมบัติที่เกี่ยวข้อง โปรดทราบว่าคุณสมบัติที่เกี่ยวข้องกับบริการประวัติจะต้องสอดคล้องกับสิ่งที่กำหนดค่าเมื่อบริการประวัติเริ่มต้นสำหรับรายละเอียดเพิ่มเติมโปรดดูส่วน การกำหนดค่า 。
log4j.properties on กำหนดค่าระดับบันทึก

5 วิธีการเริ่มต้นของบริการประวัติ HBOX [ไม่บังคับ]

เรียกใช้ $HBOX_HOME/sbin/start-history-server.sh

เริ่มต้นอย่างรวดเร็ว

ใช้ $HBOX_HOME/bin/hbox-submit เพื่อส่งแอปพลิเคชันไปยังคลัสเตอร์ในไคลเอนต์ Hbox นี่คือตัวอย่างการส่งสำหรับแอปพลิเคชัน TensorFlow

1 อัปโหลดข้อมูลไปยัง HDFS

อัปโหลดไดเรกทอรี "ข้อมูล" ภายใต้รูทของแพ็คเกจการแจกจ่ายที่แกะกล่องไปยัง HDFS

 cd $HBOX_HOME  
hadoop fs -put data /tmp/

2 ส่ง

 cd $HBOX_HOME/examples/tensorflow
$HBOX_HOME/bin/hbox-submit 
   --app-type "tensorflow" 
   --app-name "tf-demo" 
   --input /tmp/data/tensorflow#data 
   --output /tmp/tensorflow_model#model 
   --files demo.py,dataDeal.py 
   --worker-memory 10G 
   --worker-num 2 
   --worker-cores 3 
   --ps-memory 1G 
   --ps-num 1 
   --ps-cores 2 
   --queue default 
   python demo.py --data_path=./data --save_path=./model --log_dir=./eventLog --training_epochs=10

ความหมายของพารามิเตอร์มีดังนี้:

ชื่ออสังหาริมทรัพย์	ความหมาย
ชื่อแอพพลิเคชั่น	ชื่อแอปพลิเคชันเป็น "tf-demo"
แอพประเภท	ประเภทแอปพลิเคชันเป็น "tensorflow"
ป้อนข้อมูล	ไฟล์อินพุตเส้นทาง HDFS คือ "/tmp/data/tensorflow" ที่เกี่ยวข้องกับ DIR ท้องถิ่น "./data"
เอาท์พุท	ไฟล์เอาต์พุต， เส้นทาง HDFS คือ "/tmp/tensorflow_model" ที่เกี่ยวข้องกับ DIR ท้องถิ่น "./model"
ไฟล์	โปรแกรมแอปพลิเคชันและไฟล์ท้องถิ่นที่จำเป็นรวมถึง demo.py, dataDeal.py
หน่วยความจำ	จำนวนหน่วยความจำที่ใช้สำหรับกระบวนการของคนงานคือ 10GB
คนงาน	จำนวนคอนเทนเนอร์คนงานที่ใช้สำหรับแอปพลิเคชันคือ 2
ผู้ปฏิบัติงาน	จำนวนคอร์ที่ใช้สำหรับกระบวนการคนงานคือ 3
PS-MEMORY	จำนวนหน่วยความจำที่ใช้สำหรับกระบวนการ PS คือ 1GB
PS-NUM	จำนวนคอนเทนเนอร์ PS ที่จะใช้สำหรับแอปพลิเคชันคือ 1
ps-cores	จำนวนแกนที่ใช้สำหรับกระบวนการ PS คือ 2
คิว	คิวที่แอปพลิเคชันส่งไปยัง