Descarga de hbox - Descargar el código fuente hbox

hbox

Otro código fuente

v1.8.0

Descargar

Hemos cambiado el nombre de la repositura de Xlearning a HBox.

Si tiene un clon local del repositorio, actualice su URL remota:

git remote set-url origin https://github.com/Qihoo360/hbox.git

Hbox es una plataforma de programación conveniente y eficiente combinada con los big data y la inteligencia artificial, soporte para una variedad de aprendizaje automático, marcos de aprendizaje profundo. Hbox se ejecuta en el hilo Hadoop y ha integrado marcos de aprendizaje profundo como Tensornet, TensorFlow, MXNet, Caffe, Thano, Pytorch, Keras, Xgboost, Horovod, OpenMPI, Tensor2Tensor. Apoya el cronograma de recursos de la GPU, se ejecuta en Docker y la interfaz RESTFUL API Management. Hbox tiene la escalabilidad y la compatibilidad satisfactoria.

中文文档

Arquitectura

arquitectura
Hay tres componentes esenciales en Hbox:

Cliente : inicie y obtenga el estado de la aplicación.
ApplicationMaster (AM) : el papel para el programa interno y el gerente de ciclo de vida, incluida la distribución de datos de entrada y la gestión de contenedores.
Contenedor : el ejecutor real de la aplicación para iniciar el progreso del trabajador o PS (servidor de parámetros), monitorear e informar el estado del progreso a AM y guardar la salida, especialmente iniciar el servicio Tensorboard para la aplicación TensorFlow.

Funciones

1 admite múltiples marcos de aprendizaje profundo

Además del modo distribuido de tensorflow y mxnet frameworks, Hbox admite el modo independiente de todos los marcos de aprendizaje profundo como Caffe, Theo, Pytorch. Además, Hbox permite las versiones personalizadas y la versión múltiple de los marcos de manera flexible.

2 Gestión de datos unificados basada en HDFS

Datos de capacitación y resultado del modelo Guardar en HDFS (soporte S3). Hbox está habilitado para especificar la estrategia de entrada para los datos de entrada --input configurando el parámetro --input-strategy o la configuración hbox.input.strategy . Hbox admite tres formas de leer los datos de entrada HDFS:

Descargar : AM atraviesa todos los archivos en la ruta HDFS especificada y distribuye datos a los trabajadores en los archivos. Cada trabajador descargue archivos del control remoto al local.
Partido : la diferencia con el modo de descarga es que envíe la lista de archivos HDFS relacionada a los trabajadores. El proceso en trabajador leyó los datos de HDFS directamente.
InputFormat : Integró la función InputFormat de MapReduce, Hbox permite al usuario especificar cualquiera de la implementación de InputFormat para los datos de entrada. AM divide los datos de entrada y asigna fragmentos a los diferentes trabajadores. Cada trabajador pasa los fragmentos asignados a través de la tubería al progreso de la ejecución.

Similar con la estrategia de lectura, HBOX permite especificar la estrategia de salida para los datos de salida --output configurando el parámetro --output-strategy o la configuración hbox.output.strategy . Hay dos tipos de modos de salida de resultados:

Carga : después de que terminó el programa, cada trabajador cargue el directorio local de la salida a la ruta HDFS especificada directamente. El botón, "Modelo guardado", en la interfaz web, permite al usuario cargar el resultado intermedio a remoto durante la ejecución.
OutputFormat : Integró la función de salida de salida de MapReduce, Hbox permite al usuario especificar cualquiera de la implementación de OutputFormat para guardar el resultado en HDFS.

Más detalle ver gestión de datos

3 visualización de visualización

La interfaz de aplicación se puede dividir en cuatro partes:

Todos los contenedores : muestran la lista de contenedores y la información correspondiente, incluido el host del contenedor, el rol del contenedor, el estado actual del contenedor, el tiempo de inicio, el tiempo de finalización, el progreso actual.
Vea TensorBoard : si está configurado para iniciar el servicio de TensorBoard Cuando el tipo de aplicación es TensorFlow, proporcione el enlace para ingresar a TensorBoard para una vista en tiempo real.
Guardar modelo : si la aplicación tiene la salida, el usuario puede cargar la salida intermedia a la ruta HDFS especificada durante la ejecución de la aplicación a través del botón de "Guardar modelo". Después de que terminó la carga, muestre la lista de la ruta guardada intermedia.
Worker Metrix : Muestra las métricas de información de uso de recursos de cada trabajador.
Como se muestra a continuación:

hilo1

4 Compatible con el código en Native Frameworks

Excepto la construcción automática del clusterspec en el marco de modo TensorFlow de modo distribuido, el programa en el modo independiente TensorFlow y otros marcos de aprendizaje profundo se pueden ejecutar directamente en HBox.

Instrucciones de compilación e implementación

1 Requisitos de entorno de compilación

jdk> = 1.8
Maven> = 3.6.3

2 Método de compilación

Ejecute el siguiente comando en el directorio raíz del código fuente:

./mvnw package

Después de la compilación, se generará un paquete de distribución llamado hbox-1.1-dist.tar.gz en core/target en el directorio raíz. Desempaquetando el paquete de distribución, los siguientes subdirectorios se generarán en el directorio raíz:

Bin: scripts para administrar los trabajos de aplicación
SBIN: Scripts for History Service
lib: frascos de dependencias
libexec: scripts comunes y ejemplos de configuración hbox-sit.xml
Hbox-*. Jar: Hbox Jars

Para configurar las configuraciones, el usuario necesita establecer HBOX_CONF_DIR en una carpeta que contenga un hbox-site.xml válido, o vincular esta carpeta a $HBOX_HOME/conf .

3 Requisitos de entorno de implementación

CentOS 7.2
Java> = 1.8
Hadoop = 2.6 - 3.2 (GPU requiere 3.1+)
[Opcional] Entorno dependiente para marcos de aprendizaje profundo en los nodos de clúster, como TensorFlow, Numpy, Caffe.

4 Guía de implementación del cliente HBox

Según el directorio "conf" del paquete de distribución de desactivación "$ hbox_home", configure los archivos relacionados:

hbox-env.sh: Establezca las variables de entorno, como:
- Java_home
- Hadoop_conf_dir
hbox-site.xml: Configurar propiedades relacionadas. Tenga en cuenta que las propiedades asociadas con el servicio de historial deben ser consistentes con lo que se ha configurado cuando comenzó el servicio de historial. Para más detalles, consulte la parte de configuración 。
log4j.properties：configure el nivel de registro

5 Método de inicio del servicio de historial de Hbox [opcional]

Ejecute $HBOX_HOME/sbin/start-history-server.sh .

Comienzo rápido

Use $HBOX_HOME/bin/hbox-submit para enviar la aplicación a clúster en el cliente HBox. Aquí están el ejemplo de envío para la solicitud TensorFlow.

1 Subir datos a HDFS

Cargue el directorio de "datos" en la raíz del paquete de distribución de desactivación a HDFS

 cd $HBOX_HOME  
hadoop fs -put data /tmp/

2 enviar

 cd $HBOX_HOME/examples/tensorflow
$HBOX_HOME/bin/hbox-submit 
   --app-type "tensorflow" 
   --app-name "tf-demo" 
   --input /tmp/data/tensorflow#data 
   --output /tmp/tensorflow_model#model 
   --files demo.py,dataDeal.py 
   --worker-memory 10G 
   --worker-num 2 
   --worker-cores 3 
   --ps-memory 1G 
   --ps-num 1 
   --ps-cores 2 
   --queue default 
   python demo.py --data_path=./data --save_path=./model --log_dir=./eventLog --training_epochs=10

El significado de los parámetros es el siguiente:

Nombre de propiedad	Significado
nombre de la aplicación	Nombre de la aplicación como "TF-Demo"
tipo de aplicación	Tipo de aplicación como "TensorFlow"
aporte	El archivo de entrada, la ruta HDFS es "/tmp/data/tensorflow" relacionado con el direño local "./data"
producción	Archivo de salida, la ruta HDFS es "/TMP/Tensorflow_Model" relacionado con el Dir local "./model"
archivos	Programa de aplicación y archivos locales requeridos, incluidos demo.py, datADeal.py
semicratoria	La cantidad de memoria para usar para el proceso del trabajador es de 10 GB
trabajador-num	El número de contenedores de trabajadores para usar para la aplicación es 2
trabajador	El número de núcleos para usar para el proceso del trabajador es 3
Memory de PS	La cantidad de memoria para usar para el proceso PS es 1 GB
num	El número de contenedores de PS para usar para la aplicación es 1
coro	El número de núcleos para usar para el proceso PS es 2
cola	la cola a la que se somete a la solicitud