tensorlayer tricks

Cómo usar TensorLayer

Si bien la investigación en el aprendizaje profundo continúa mejorando el mundo, utilizamos un montón de trucos para implementar algoritmos con TensorRapelaer día a día.

Aquí hay un resumen de los trucos para usar TensorLayer. Si encuentra un truco que es particularmente útil en la práctica, abra una solicitud de extracción para agregarlo al documento. Si consideramos que es razonable y verificado, lo fusionaremos.

• ? 《深度学习 ： 一起玩转 TensorLayer 》已上架。

1. Instalación

• Para mantener su versión TL y editar el código fuente fácilmente, puede descargar todo el repositorio excutando git clone https://github.com/zsdonghao/tensorlayer.git en su terminal, luego copie la carpeta tensorlayer en su proyecto
• A medida que TL está creciendo muy rápido, si desea usar pip Install, le sugerimos que instale la versión maestra
• Para la aplicación NLP, deberá instalar datos NLTK y NLTK

2. Interacción entre TF y TL

• TF a TL: use InputLayer
• TL a TF: use network.outputs
• Otros problemas de métodos7, múltiples entradas problemas31

3. Cambio de entrenamiento/prueba

• Use Network.all_drop para controlar la fase de entrenamiento/prueba (solo para desacuerdo) Vea este ejemplo y comprenda la capa básica
• Alternativamente, configure is_fix en True en DroutLayer y cree diferentes gráficos para entrenamiento/pruebas reutilizando los parámetros. También puede establecer diferentes probabilidad batch_size y ruido para diferentes gráficos. Este método es el mejor cuando usa gaussiannoiselayer, batchnormlayer, etc. Aquí hay un ejemplo:

 def mlp ( x , is_train = True , reuse = False ):
    with tf . variable_scope ( "MLP" , reuse = reuse ):
      net = InputLayer ( x , name = 'in' )
      net = DropoutLayer ( net , 0.8 , True , is_train , name = 'drop1' )
      net = DenseLayer ( net , n_units = 800 , act = tf . nn . relu , name = 'dense1' )
      net = DropoutLayer ( net , 0.8 , True , is_train , name = 'drop2' )
      net = DenseLayer ( net , n_units = 800 , act = tf . nn . relu , name = 'dense2' )
      net = DropoutLayer ( net , 0.8 , True , is_train , name = 'drop3' )
      net = DenseLayer ( net , n_units = 10 , act = tf . identity , name = 'out' )
      logits = net . outputs
      net . outputs = tf . nn . sigmoid ( net . outputs )
      return net , logits
x = tf . placeholder ( tf . float32 , shape = [ None , 784 ], name = 'x' )
y_ = tf . placeholder ( tf . int64 , shape = [ None , ], name = 'y_' )
net_train , logits = mlp ( x , is_train = True , reuse = False )
net_test , _ = mlp ( x , is_train = False , reuse = True )
cost = tl . cost . cross_entropy ( logits , y_ , name = 'cost' )

Más aquí.

4. Obtenga variables y salidas

• Use tl.layers.get_variebles_with_name en lugar de usar net.all_params

 train_vars = tl . layers . get_variables_with_name ( 'MLP' , True , True )
train_op = tf . train . AdamOptimizer ( learning_rate = 0.0001 ). minimize ( cost , var_list = train_vars )

• Este método también se puede usar para congelar algunas capas durante el entrenamiento, simplemente no obtenga algunas variables.
• Otros Métodos Temas17, Tuss26, FQA
• Use tl.layers.get_layers_with_name para obtener una lista de salidas de activación desde una red.

 layers = tl . layers . get_layers_with_name ( network , "MLP" , True )

• Este método generalmente se usa para la regularización de la activación.

5. Aumento de datos para un conjunto de datos grande

Si su conjunto de datos es grande, la carga de datos y el aumento de datos se convertirán en el cabello inferior y ralentizarán el entrenamiento. Para acelerar el procesamiento de datos puede:

• Use TFRecord o TF DataSetapi, consulte Ejemplos de CIFAR10

6. Aumento de datos para un conjunto de datos pequeño

Si el tamaño de sus datos es lo suficientemente pequeño como para alimentar la memoria de su máquina, y el aumento de datos es simple. Para depurar fácilmente, puedes:

• Use tl.iterate.minibatches para barajar y devolver los ejemplos y etiquetas por el lote dado.
• Use tl.prepro.threading_data para leer un lote de datos al comienzo de cada paso, el rendimiento es lento pero bueno para un conjunto de datos pequeño.
• Para los datos de la serie de tiempo, use tl.iterate.seq_minibatches, tl.iterate.seq_minibatches2, tl.iterate.ptb_iterator y etc.

7. CNN y resnet previamente capacitado

• CNN previamente capacitado
• Muchas aplicaciones necesitan un modelo CNN previamente capacitado
• TL proporciona VGG16, VGG19, Mobilenet, Squeezenet, etc. de TL.
• tl.layers.slimnetslayer te permite usar todos los modelos pre-capacitados de TF-slim y modelos tensorRainsyer/pretrados
• Resnet
• Implementado por "para" problemas de bucle85
• Otros métodos de @Ritchieng

8. Usando tl.models

• Use el vgg16 previamente provocado para la clasificación de Imagenet

 x = tf . placeholder ( tf . float32 , [ None , 224 , 224 , 3 ])
# get the whole model
vgg = tl . models . VGG16 ( x )
# restore pre-trained VGG parameters
sess = tf . InteractiveSession ()
vgg . restore_params ( sess )
# use for inferencing
probs = tf . nn . softmax ( vgg . outputs )

• Extraer las características con VGG16 y volver a entrenar un clasificador con 100 clases

 x = tf . placeholder ( tf . float32 , [ None , 224 , 224 , 3 ])
# get VGG without the last layer
vgg = tl . models . VGG16 ( x , end_with = 'fc2_relu' )
# add one more layer
net = tl . layers . DenseLayer ( vgg , 100 , name = 'out' )
# initialize all parameters
sess = tf . InteractiveSession ()
tl . layers . initialize_global_variables ( sess )
# restore pre-trained VGG parameters
vgg . restore_params ( sess )
# train your own classifier (only update the last layer)
train_params = tl . layers . get_variables_with_name ( 'out' )

• Modelo de reutilización

 x1 = tf . placeholder ( tf . float32 , [ None , 224 , 224 , 3 ])
x2 = tf . placeholder ( tf . float32 , [ None , 224 , 224 , 3 ])
# get VGG without the last layer
vgg1 = tl . models . VGG16 ( x1 , end_with = 'fc2_relu' )
# reuse the parameters of vgg1 with different input
vgg2 = tl . models . VGG16 ( x2 , end_with = 'fc2_relu' , reuse = True )
# restore pre-trained VGG parameters (as they share parameters, we don’t need to restore vgg2)
sess = tf . InteractiveSession ()
vgg1 . restore_params ( sess )

9. Capa personalizada

• 1. Escribe una capa TL directamente
• 2. Use Lambdalayer, también puede aceptar funciones con nuevas variables. Con esta capa, puede conectar todas las bibliotecas TF de terceros y su función personalizada a TL. Aquí hay un ejemplo de usar keras y TL juntos.

 import tensorflow as tf
import tensorlayer as tl
from keras . layers import *
from tensorlayer . layers import *
def my_fn ( x ):
    x = Dropout ( 0.8 )( x )
    x = Dense ( 800 , activation = 'relu' )( x )
    x = Dropout ( 0.5 )( x )
    x = Dense ( 800 , activation = 'relu' )( x )
    x = Dropout ( 0.5 )( x )
    logits = Dense ( 10 , activation = 'linear' )( x )
    return logits

network = InputLayer ( x , name = 'input' )
network = LambdaLayer ( network , my_fn , name = 'keras' )
...

10. Tokenización de oraciones

• Use tl.nlp.process_sentence para tokenizar las oraciones, se requieren datos NLTK y NLTK

 > >> captions = [ "one two , three" , "four five five" ] # 2个 句 子 
> >> processed_capts = []
> >> for c in captions :
> >>    c = tl . nlp . process_sentence ( c , start_word = "<S>" , end_word = "</S>" )
> >>    processed_capts . append ( c )
> >> print ( processed_capts )
... [[ '<S>' , 'one' , 'two' , ',' , 'three' , '</S>' ],
... [ '<S>' , 'four' , 'five' , 'five' , '</S>' ]]

• Luego use tl.nlp.create_vocab para crear un vocabulario y guarde como archivo txt (devolverá un objeto tl.nlp.simplevocabulary para Word a ID solo)

 > >> tl . nlp . create_vocab ( processed_capts , word_counts_output_file = 'vocab.txt' , min_word_count = 1 )
... [ TL ] Creating vocabulary .
... Total words : 8
... Words in vocabulary : 8
... Wrote vocabulary file : vocab . txt

• Finalmente, use tl.nlp.vocabulary para crear un objeto de vocabulario desde el archivo de vocabulario txt creado por tl.nlp.create_vocab

 > >> vocab = tl . nlp . Vocabulary ( 'vocab.txt' , start_word = "<S>" , end_word = "</S>" , unk_word = "<UNK>" )
... INFO : tensorflow : Initializing vocabulary from file : vocab . txt
... [ TL ] Vocabulary from vocab . txt : < S > < / S > < UNK >
... vocabulary with 10 words ( includes start_word , end_word , unk_word )
...   start_id : 2
...   end_id : 3
...   unk_id : 9
...   pad_id : 0

Luego puede mapear Word a ID o Vice versos de la siguiente manera:

 > >> vocab . id_to_word ( 2 )
... 'one'
> >> vocab . word_to_id ( 'one' )
... 2
>> > vocab . id_to_word ( 100 )
... '<UNK>'
> >> vocab . word_to_id ( 'hahahaha' )
... 9

• Más funciones de preprocesamiento para oraciones en tl.prepro y tl.nlp

11. RNN dinámico y longitud de secuencia

• Aplicar el relleno cero en un lote de oraciones tokenizadas de la siguiente manera:

 > >> sequences = [[ 1 , 1 , 1 , 1 , 1 ],[ 2 , 2 , 2 ],[ 3 , 3 ]]
> >> sequences = tl . prepro . pad_sequences ( sequences , maxlen = None , 
...         dtype = 'int32' , padding = 'post' , truncating = 'pre' , value = 0. )
... [[ 1 1 1 1 1 ]
...  [ 2 2 2 0 0 ]
...  [ 3 3 0 0 0 ]]

• Use tl.layers.retrieve_seq_length_op2 para calcular automáticamente la longitud de secuencia del marcador de posición y alimentarla a la sequence_length de DynamicRnnlayer

 > >> data = [[ 1 , 2 , 0 , 0 , 0 ], [ 1 , 2 , 3 , 0 , 0 ], [ 1 , 2 , 6 , 1 , 0 ]]
> >> o = tl . layers . retrieve_seq_length_op2 ( data )
> >> sess = tf . InteractiveSession ()
> >> tl . layers . initialize_global_variables ( sess )
> >> print ( o . eval ())
... [ 2 3 4 ]

• Otros problemas de métodos18

12. Guardar modelos

• 1. tl.files.save_npz Guardar todos los parámetros del modelo (pesos) en una lista de matriz, restaurar usando tl.files.load_and_assign_npz
• 2. tl.files.save_npz_dict Guardar todos los parámetros del modelo (pesos) en un diccionario de matriz, la clave es el nombre del parámetro, restaurar el uso de tl.files.load_and_assign_npz_dict
• 3. tl.files.save_ckpt Guardar todos los parámetros del modelo (pesos) en el archivo tensorflow ckpt, restaurar usando tl.files.load_ckpt .

13. Compatibilidad con otros envoltorios TF

TL puede interactuar con otros envoltorios TF, lo que significa que si encuentra algunos códigos o modelos implementados por otros envoltorios, ¡solo puede usarlo!

• Otras implementaciones de la capa TensorFlow se pueden conectar a TensorLayer a través de Lambdalayer, ver ejemplo aquí)
• TF-Slim a TL: SlimNetSlayer (¡puedes usar todos los modelos convolucionales previamente capacitados de Google con esta capa!)

14. Otros

• El valor predeterminado decay de BatchNormLayer es 0.9, establecido en 0.999 para un gran conjunto de datos.
• Surge el problema de matlotlib al importar problemas de TensorRayer, ver FQA

Enlaces útiles

• Awesome-tensorLayer para todos los ejemplos
• TL Sitios oficiales: Docios, 中文文档, Github
• Aprender el aprendizaje profundo con TF y TL
• Sigue a Zsdonghao para más ejemplos

Autor

• Zhang Rui
• Hao dong