hbox
v1.8.0
우리는 Xlearning에서 Hbox로 Repositiry의 이름을 바꿨습니다.
저장소의 로컬 클론이있는 경우 원격 URL을 업데이트하십시오.
git remote set-url origin https://github.com/Qihoo360/hbox.gitHbox 는 빅 데이터 및 인공 지능, 다양한 기계 학습 지원, 딥 러닝 프레임 워크와 결합 된 편리하고 효율적인 스케줄링 플랫폼입니다. Hbox는 Hadoop 원사에서 실행 중이며 Tensornet, Tensorflow, MXNet, Caffe, Theano, Pytorch, Keras, Xgboost, Horovod, OpenMPI, Tensor2tensor와 같은 딥 러닝 프레임 워크를 통합했습니다. GPU 리소스 일정을 지원하고 Docker 및 RESTful API Management Interface에서 실행하십시오. Hbox는 만족스러운 확장 성과 호환성을 가지고 있습니다.
中文文档
Hbox에는 세 가지 필수 구성 요소가 있습니다.
Hbox는 분산 텐서 플로우 및 MXNET 프레임 워크 모드 외에도 Caffe, Theano, Pytorch와 같은 모든 딥 러닝 프레임 워크의 독립형 모드를 지원합니다. 또한 Hbox는 사용자 정의 버전과 다중 버전의 프레임 워크를 유연하게 허용합니다.
교육 데이터 및 모델 결과 HDF에 저장 (지원 S3). Hbox는-입력 데이터에 대한 입력 전략을 지정할 수 있습니다 --input --input-strategy 매개 변수 또는 hbox.input.strategy 구성을 설정하여 입력-입력. Hbox는 HDFS 입력 데이터를 읽는 세 가지 방법을 지원합니다.
읽기 전략과 마찬가지로 Hbox는 --output-strategy 매개 변수 또는 hbox.output.strategy 구성을 설정하여 출력 데이터의 --output 전략을 지정할 수 있습니다. 결과 출력 모드에는 두 가지 종류가 있습니다.
자세한 내용은 데이터 관리를 참조하십시오
응용 프로그램 인터페이스는 네 부분으로 나눌 수 있습니다.
분산 모드 인 Tensorflow 프레임 워크에서 Clusterspec의 자동 구성을 제외하고 독립형 모드 Tensorflow 및 기타 딥 러닝 프레임 워크의 프로그램은 Hbox에서 직접 실행할 수 있습니다.
소스 코드의 루트 디렉토리에서 다음 명령을 실행하십시오.
./mvnw package
컴파일 후 hbox-1.1-dist.tar.gz 라는 배포 패키지가 루트 디렉토리의 core/target 에서 생성됩니다. 배포 패키지 포장을 풀면 다음과 같은 하위 디렉토리가 루트 디렉토리에서 생성됩니다.
구성을 설정하려면 사용자는 유효한 hbox-site.xml 이 포함 된 폴더로 HBOX_CONF_DIR 설정 하거나이 폴더를 $HBOX_HOME/conf 에 연결해야합니다.
포장 풀기 배포 패키지 "$ hbox_home"의 "conf"디렉토리에서 관련 파일을 구성하십시오.
hbox-env.sh : 다음과 같은 환경 변수를 설정합니다.
hbox-site.xml : 관련 속성을 구성합니다. 히스토리 서비스와 관련된 속성은 히스토리 서비스가 시작될 때 구성된 것과 일치해야합니다. 자세한 내용은 구성 부분을 참조하십시오.
log4j.propertiesiek ： 로그 레벨을 구성합니다
$HBOX_HOME/sbin/start-history-server.sh 실행하십시오. $HBOX_HOME/bin/hbox-submit 사용하여 응용 프로그램을 Hbox 클라이언트의 클러스터에 제출하십시오. 다음은 Tensorflow 응용 프로그램의 제출 예입니다.
포장 풀기 배포 패키지의 루트 아래에서 "데이터"디렉토리를 HDFS에 업로드하십시오.
cd $HBOX_HOME
hadoop fs -put data /tmp/
cd $HBOX_HOME/examples/tensorflow
$HBOX_HOME/bin/hbox-submit
--app-type "tensorflow"
--app-name "tf-demo"
--input /tmp/data/tensorflow#data
--output /tmp/tensorflow_model#model
--files demo.py,dataDeal.py
--worker-memory 10G
--worker-num 2
--worker-cores 3
--ps-memory 1G
--ps-num 1
--ps-cores 2
--queue default
python demo.py --data_path=./data --save_path=./model --log_dir=./eventLog --training_epochs=10
매개 변수의 의미는 다음과 같습니다.
| 속성 이름 | 의미 |
|---|---|
| 앱 이름 | "tf-demo"로서의 신청 이름 |
| 앱 타입 | "Tensorflow"로 응용 프로그램 유형 |
| 입력 | 입력 파일, HDFS 경로는 "/tmp/data/tensorflow"입니다. |
| 산출 | 출력 파일, HDFS 경로는 "/tmp/tensorflow_model"로컬 디어와 관련이있다 "./model"입니다. |
| 파일 | 응용 프로그램 및 demo.py, datadeal.py를 포함한 필요한 로컬 파일 |
| 노동자-메모리 | 작업자 프로세스에 사용할 메모리의 양은 10GB입니다. |
| 노동자 수 | 응용 프로그램에 사용할 작업자 컨테이너 수는 2입니다. |
| 노동자 | 작업자 프로세스에 사용할 코어 수는 3입니다. |
| PS-Memory | PS 프로세스에 사용할 메모리 양은 1GB입니다. |
| PS-NUM | 응용 프로그램에 사용할 PS 컨테이너 수는 1입니다. |
| PS-Cores | PS 프로세스에 사용할 코어 수는 2입니다. |
| 대기줄 | 해당 신청서가 제출됩니다 |
자세한 내용은 매개 변수 제출 부품을 설정하십시오.
Hbox FAQ
Hbox 는 Github의 팀이 설계, 작성, 검토 및 테스트했습니다.
@Yuance Li, @wen ouyang, @Runying Jia, @Yuhan jia, @Lei Wang
