tensorlayer tricks

Como usar o Tensorlayer

Embora a pesquisa em aprendizado profundo continue a melhorar o mundo, usamos vários truques para implementar algoritmos com o Tensorlayer dia a dia.

Aqui está um resumo dos truques para usar o Tensorlayer. Se você encontrar um truque particularmente útil na prática, abra uma solicitação de tração para adicioná -lo ao documento. Se acharmos que é razoável e verificado, iremos mesclá -lo.

• ? 《深度学习 ： 一起玩转 Tensorlayer 》已上架。

1. Instalação

• Para manter sua versão TL e editar o código -fonte facilmente, você pode baixar todo o repositório, excluindo git clone https://github.com/zsdonghao/tensorlayer.git no seu terminal e copie a pasta tensorlayer para o seu projeto
• Como o TL está crescendo muito rápido, se você quiser usar a instalação pip , sugerimos que você instale a versão mestre
• Para aplicativo PNL, você precisará instalar dados NLTK e NLTK

2. Interação entre TF e TL

• TF para TL: Use InputLayer
• TL para TF: Use Network.Outputs
• Outros métodos questões7, múltiplas entradas questões31

3. Comutação de treinamento/teste

• Use o Network.all_drop para controlar a fase de treinamento/teste (apenas para escavação), veja este exemplo e compreenda a camada básica
• Como alternativa, defina is_fix como True no escandalista e construa gráficos diferentes para treinamento/teste reutilizando os parâmetros. Você também pode definir diferentes batch_size e probabilidade de ruído para diferentes gráficos. Este método é o melhor quando você usa GaussianNoiseLayer, BatchnormLayer e etc. Aqui está um exemplo:

 def mlp ( x , is_train = True , reuse = False ):
    with tf . variable_scope ( "MLP" , reuse = reuse ):
      net = InputLayer ( x , name = 'in' )
      net = DropoutLayer ( net , 0.8 , True , is_train , name = 'drop1' )
      net = DenseLayer ( net , n_units = 800 , act = tf . nn . relu , name = 'dense1' )
      net = DropoutLayer ( net , 0.8 , True , is_train , name = 'drop2' )
      net = DenseLayer ( net , n_units = 800 , act = tf . nn . relu , name = 'dense2' )
      net = DropoutLayer ( net , 0.8 , True , is_train , name = 'drop3' )
      net = DenseLayer ( net , n_units = 10 , act = tf . identity , name = 'out' )
      logits = net . outputs
      net . outputs = tf . nn . sigmoid ( net . outputs )
      return net , logits
x = tf . placeholder ( tf . float32 , shape = [ None , 784 ], name = 'x' )
y_ = tf . placeholder ( tf . int64 , shape = [ None , ], name = 'y_' )
net_train , logits = mlp ( x , is_train = True , reuse = False )
net_test , _ = mlp ( x , is_train = False , reuse = True )
cost = tl . cost . cross_entropy ( logits , y_ , name = 'cost' )

Mais aqui.

4. Obtenha variáveis ​​e saídas

• Use tl.layers.get_variables_with_name em vez de usar net.all_params

 train_vars = tl . layers . get_variables_with_name ( 'MLP' , True , True )
train_op = tf . train . AdamOptimizer ( learning_rate = 0.0001 ). minimize ( cost , var_list = train_vars )

• Este método também pode ser usado para congelar algumas camadas durante o treinamento, simplesmente não obtenha algumas variáveis
• Outros métodos questões17, edições26, fqa
• Use o tl.layers.get_layers_with_name para obter a lista de saídas de ativação de uma rede.

 layers = tl . layers . get_layers_with_name ( network , "MLP" , True )

• Esse método geralmente é usado para a regularização da ativação.

5. Aumentação de dados para um conjunto de dados grande

Se o seu conjunto de dados for grande, o carregamento de dados e o aumento de dados se tornarão o Bottomneck e diminuirão o treinamento. Para acelerar o processamento de dados, você pode:

• Use tfrecord ou TF DataSeetapi, consulte os exemplos do CIFAR10

6. Aumentação de dados para pequeno conjunto de dados

Se o tamanho do seu dados for pequeno o suficiente para alimentar a memória da sua máquina e o aumento dos dados for simples. Para depurar facilmente, você pode:

• Use tl.iterate.Minibatches para embaralhar e retornar os exemplos e etiquetas pelo batchSize dado.
• Use tl.prepro.threading_data para ler um lote de dados no início de cada etapa, o desempenho é lento, mas bom para o pequeno conjunto de dados.
• Para dados de séries temporais, use tl.iterate.seq_miniBatches, tl.iterate.seq_miniBatches2, tl.iterate.ptb_iterator e etc

7. CNN e resnet pré-treinado

• CNN pré-treinado
• Muitas aplicações tornam o modelo CNN de pré-treino de necessidade
• TL fornece VGG16 pré-treinado, VGG19, MobileNet, SqueeZenet e etc: TL.Models
• tl.layers.slimnetslayer permite que você use todos os modelos pré-treinados TF-Slim e Tensorlayer/Models pré-treinados
• Resnet
• Implementado por "para" problemas de loop85
• Outros métodos de @ritchieng

8. Usando tl.models

• Use VGG16 pré -terenciado para classificação do ImageNet

 x = tf . placeholder ( tf . float32 , [ None , 224 , 224 , 3 ])
# get the whole model
vgg = tl . models . VGG16 ( x )
# restore pre-trained VGG parameters
sess = tf . InteractiveSession ()
vgg . restore_params ( sess )
# use for inferencing
probs = tf . nn . softmax ( vgg . outputs )

• Extrair recursos com VGG16 e treinar um classificador com 100 classes

 x = tf . placeholder ( tf . float32 , [ None , 224 , 224 , 3 ])
# get VGG without the last layer
vgg = tl . models . VGG16 ( x , end_with = 'fc2_relu' )
# add one more layer
net = tl . layers . DenseLayer ( vgg , 100 , name = 'out' )
# initialize all parameters
sess = tf . InteractiveSession ()
tl . layers . initialize_global_variables ( sess )
# restore pre-trained VGG parameters
vgg . restore_params ( sess )
# train your own classifier (only update the last layer)
train_params = tl . layers . get_variables_with_name ( 'out' )

• Modelo de reutilização

 x1 = tf . placeholder ( tf . float32 , [ None , 224 , 224 , 3 ])
x2 = tf . placeholder ( tf . float32 , [ None , 224 , 224 , 3 ])
# get VGG without the last layer
vgg1 = tl . models . VGG16 ( x1 , end_with = 'fc2_relu' )
# reuse the parameters of vgg1 with different input
vgg2 = tl . models . VGG16 ( x2 , end_with = 'fc2_relu' , reuse = True )
# restore pre-trained VGG parameters (as they share parameters, we don’t need to restore vgg2)
sess = tf . InteractiveSession ()
vgg1 . restore_params ( sess )

9. Camada personalizada

• 1. Escreva uma camada TL diretamente
• 2. Use Lambdalayer, ele também pode aceitar funções com novas variáveis. Com esta camada, você pode conectar todas as bibliotecas TF de terceiros e sua função personalizada ao TL. Aqui está um exemplo de uso de Keras e TL juntos.

 import tensorflow as tf
import tensorlayer as tl
from keras . layers import *
from tensorlayer . layers import *
def my_fn ( x ):
    x = Dropout ( 0.8 )( x )
    x = Dense ( 800 , activation = 'relu' )( x )
    x = Dropout ( 0.5 )( x )
    x = Dense ( 800 , activation = 'relu' )( x )
    x = Dropout ( 0.5 )( x )
    logits = Dense ( 10 , activation = 'linear' )( x )
    return logits

network = InputLayer ( x , name = 'input' )
network = LambdaLayer ( network , my_fn , name = 'keras' )
...

10. Tokenização de frases

• Use tl.nlp.process_sentence para tokenizar as frases, são necessários dados NLTK e NLTK

 > >> captions = [ "one two , three" , "four five five" ] # 2个 句 子 
> >> processed_capts = []
> >> for c in captions :
> >>    c = tl . nlp . process_sentence ( c , start_word = "<S>" , end_word = "</S>" )
> >>    processed_capts . append ( c )
> >> print ( processed_capts )
... [[ '<S>' , 'one' , 'two' , ',' , 'three' , '</S>' ],
... [ '<S>' , 'four' , 'five' , 'five' , '</S>' ]]

• Em seguida, use tl.nlp.create_vocab para criar um vocabulário e salvar como arquivo txt (ele retornará um objeto tl.nlp.simplevocabulary apenas para o Word para ID)

 > >> tl . nlp . create_vocab ( processed_capts , word_counts_output_file = 'vocab.txt' , min_word_count = 1 )
... [ TL ] Creating vocabulary .
... Total words : 8
... Words in vocabulary : 8
... Wrote vocabulary file : vocab . txt

• Por fim, use tl.nlp.vocabulary para criar um objeto de vocabulário a partir do arquivo de vocabulário TXT criado por tl.nlp.create_vocab

 > >> vocab = tl . nlp . Vocabulary ( 'vocab.txt' , start_word = "<S>" , end_word = "</S>" , unk_word = "<UNK>" )
... INFO : tensorflow : Initializing vocabulary from file : vocab . txt
... [ TL ] Vocabulary from vocab . txt : < S > < / S > < UNK >
... vocabulary with 10 words ( includes start_word , end_word , unk_word )
...   start_id : 2
...   end_id : 3
...   unk_id : 9
...   pad_id : 0

Então você pode mapear o Word para ID ou vice -verso da seguinte maneira:

 > >> vocab . id_to_word ( 2 )
... 'one'
> >> vocab . word_to_id ( 'one' )
... 2
>> > vocab . id_to_word ( 100 )
... '<UNK>'
> >> vocab . word_to_id ( 'hahahaha' )
... 9

• Mais funções de pré-processamento para frases em tl.prepro e tl.nlp

11. RNN dinâmico e comprimento da sequência

• Aplique zero preenchimento em um lote de frases tokenizadas da seguinte forma:

 > >> sequences = [[ 1 , 1 , 1 , 1 , 1 ],[ 2 , 2 , 2 ],[ 3 , 3 ]]
> >> sequences = tl . prepro . pad_sequences ( sequences , maxlen = None , 
...         dtype = 'int32' , padding = 'post' , truncating = 'pre' , value = 0. )
... [[ 1 1 1 1 1 ]
...  [ 2 2 2 0 0 ]
...  [ 3 3 0 0 0 ]]

• Use tl.layers.retrieve_seq_length_op2 para calcular automaticamente o comprimento da sequência do espaço reservado e alimentá -lo com o sequence_length of Dynamicrnnlayer

 > >> data = [[ 1 , 2 , 0 , 0 , 0 ], [ 1 , 2 , 3 , 0 , 0 ], [ 1 , 2 , 6 , 1 , 0 ]]
> >> o = tl . layers . retrieve_seq_length_op2 ( data )
> >> sess = tf . InteractiveSession ()
> >> tl . layers . initialize_global_variables ( sess )
> >> print ( o . eval ())
... [ 2 3 4 ]

• Outros métodos questões18

12. Salvar modelos

• 1. tl.files.save_npz salve todos os parâmetros do modelo (pesos) na lista de matrizes, restaure usando tl.files.load_and_assign_npz
• 2. tl.files.save_npz_dict salvar todos os parâmetros do modelo (pesos) em um dicionário de matriz, a chave é o nome do parâmetro, restaurar usando tl.files.load_and_assign_npz_dict
• 3. tl.files.save_ckpt salve todos os parâmetros do modelo (pesos) no arquivo ckpt tensorflow, restaure usando tl.files.load_ckpt .

13. Compatibilidade com outros invólucros de TF

O TL pode interagir com outros invólucros de TF, o que significa que, se você encontrar alguns códigos ou modelos implementados por outros invólucros, poderá usá -lo!

• Outras implementações da camada de tensorflow podem ser conectadas ao Tensorlayer via Lambdalayer, veja o exemplo aqui)
• Tf-slim para tl: slimnetslayer (você pode usar todos os modelos convolucionais pré-treinados do Google com esta camada !!!)

14 outros

• O padrão decay do BatchNormLayer é 0,9, definido como 0,999 para um conjunto de dados grande.
• A questão do matplotlib surge ao importar problemas de tensorlayer, consulte FQA

Links úteis

• Awesome-tensorlayer para todos os exemplos
• TL Sites Oficiais: Docs, 中文文档, Github
• Aprendendo aprendizado profundo com TF e TL
• Siga Zsdonghao para outros exemplos

Autor

• Zhang Rui
• Hao Dong