tensorlayer tricks

Как использовать TensorLayer

В то время как исследования в области глубокого обучения продолжают улучшать мир, мы используем кучу хитростей для внедрения алгоритмов с Tensorlayer изо дня в день.

Вот краткое изложение трюков, чтобы использовать TensorLayer. Если вы найдете трюк, который особенно полезен на практике, откройте запрос на привлечение, чтобы добавить его в документ. Если мы найдем это разумным и проверенным, мы объединим это.

• ?? ： 一起玩转 Tensorlayer 》已上架。

1. Установка

• Чтобы сохранить вашу версию TL и легко отредактировать исходный код, вы можете загрузить весь репозиторий, переполнив git clone https://github.com/zsdonghao/tensorlayer.git в вашем терминале, затем скопируйте папку tensorlayer в свой проект.
• По мере того, как TL растет очень быстро, если вы хотите использовать установку pip , мы предлагаем вам установить главную версию
• Для приложения NLP вам нужно будет установить данные NLTK и NLTK

2. Взаимодействие между TF и ​​TL

• TF TL: Используйте inputLayer
• TL to TF: используйте network.outputs
• Проблемы с другими методами 7, выпуски нескольких входов31

3. Обучение/переключение тестирования

• Используйте network.all_drop для управления фазой обучения/тестирования (только для Derpoutlayer) см. В этом примере и поймите основной уровень
• В качестве альтернативы, установите is_fix True в DropoutLayer и создайте разные графики для обучения/тестирования, повторно используя параметры. Вы также можете установить разные вероятность batch_size для разных графиков. Этот метод является лучшим, когда вы используете Gaussiannoiselayer, Batchnormlayer и т. Д. Вот пример:

 def mlp ( x , is_train = True , reuse = False ):
    with tf . variable_scope ( "MLP" , reuse = reuse ):
      net = InputLayer ( x , name = 'in' )
      net = DropoutLayer ( net , 0.8 , True , is_train , name = 'drop1' )
      net = DenseLayer ( net , n_units = 800 , act = tf . nn . relu , name = 'dense1' )
      net = DropoutLayer ( net , 0.8 , True , is_train , name = 'drop2' )
      net = DenseLayer ( net , n_units = 800 , act = tf . nn . relu , name = 'dense2' )
      net = DropoutLayer ( net , 0.8 , True , is_train , name = 'drop3' )
      net = DenseLayer ( net , n_units = 10 , act = tf . identity , name = 'out' )
      logits = net . outputs
      net . outputs = tf . nn . sigmoid ( net . outputs )
      return net , logits
x = tf . placeholder ( tf . float32 , shape = [ None , 784 ], name = 'x' )
y_ = tf . placeholder ( tf . int64 , shape = [ None , ], name = 'y_' )
net_train , logits = mlp ( x , is_train = True , reuse = False )
net_test , _ = mlp ( x , is_train = False , reuse = True )
cost = tl . cost . cross_entropy ( logits , y_ , name = 'cost' )

Больше здесь.

4. Получить переменные и выходы

• Используйте tl.layers.get_variables_with_name вместо использования net.all_params

 train_vars = tl . layers . get_variables_with_name ( 'MLP' , True , True )
train_op = tf . train . AdamOptimizer ( learning_rate = 0.0001 ). minimize ( cost , var_list = train_vars )

• Этот метод также может быть использован для замораживания некоторых слоев во время тренировок, просто не получайте некоторых переменных
• Другие методы проблемы17, проблемы26, FQA
• Используйте tl.layers.get_layers_with_name, чтобы получить список выходов активации из сети.

 layers = tl . layers . get_layers_with_name ( network , "MLP" , True )

• Этот метод обычно используется для регуляризации активации.

5. Увеличение данных для большого набора данных

Если ваш набор данных большой, загрузка данных и увеличение данных станут нижней, и замедлит обучение. Чтобы ускорить обработку данных, вы можете:

• Используйте TFRECORD или TF DATASETAPI, см. Примеры CIFAR10

6. Увеличение данных для небольшого набора данных

Если размер ваших данных достаточно мал, чтобы войти в память о вашей машине, а увеличение данных простое. Чтобы легко отлаживать, вы можете:

• Используйте tl.iterate.minibatches, чтобы перетасовать и вернуть примеры и этикетки по данным пакетику.
• Используйте tl.prepro.threading_data, чтобы прочитать партию данных В начале каждого шага производительность медленная, но хорошая для небольшого набора данных.
• Для данных временных рядов используйте tl.iterate.seq_minibatches, tl.iterater.seq_minibatches2, tl.iterate.ptb_iterator и т. Д.

7. Предварительно обученный CNN и Resnet

• Предварительно обученный CNN
• Многие приложения делают необходимость предварительно обученной модели CNN
• TL предоставляет предварительно обученную VGG16, VGG19, Mobilenet, Squeezenet и т. Д.: Tl.Models
• tl.layers.slimnetslayer позволяет использовать все предварительно обученные модели TF-SLIM и Tensorlayer/Pretrysed-Models
• Resnet
• Реализовано с помощью «для» петлей 85
• Другие методы @ritchieng

8. Использование tl.models

• Используйте предварительно проведенный VGG16 для классификации ImageNet

 x = tf . placeholder ( tf . float32 , [ None , 224 , 224 , 3 ])
# get the whole model
vgg = tl . models . VGG16 ( x )
# restore pre-trained VGG parameters
sess = tf . InteractiveSession ()
vgg . restore_params ( sess )
# use for inferencing
probs = tf . nn . softmax ( vgg . outputs )

• Извлеките функции с VGG16 и переподготовьте классификатор со 100 классами

 x = tf . placeholder ( tf . float32 , [ None , 224 , 224 , 3 ])
# get VGG without the last layer
vgg = tl . models . VGG16 ( x , end_with = 'fc2_relu' )
# add one more layer
net = tl . layers . DenseLayer ( vgg , 100 , name = 'out' )
# initialize all parameters
sess = tf . InteractiveSession ()
tl . layers . initialize_global_variables ( sess )
# restore pre-trained VGG parameters
vgg . restore_params ( sess )
# train your own classifier (only update the last layer)
train_params = tl . layers . get_variables_with_name ( 'out' )

• Модель повторного использования

 x1 = tf . placeholder ( tf . float32 , [ None , 224 , 224 , 3 ])
x2 = tf . placeholder ( tf . float32 , [ None , 224 , 224 , 3 ])
# get VGG without the last layer
vgg1 = tl . models . VGG16 ( x1 , end_with = 'fc2_relu' )
# reuse the parameters of vgg1 with different input
vgg2 = tl . models . VGG16 ( x2 , end_with = 'fc2_relu' , reuse = True )
# restore pre-trained VGG parameters (as they share parameters, we don’t need to restore vgg2)
sess = tf . InteractiveSession ()
vgg1 . restore_params ( sess )

9. Индивидуальный слой

• 1. Напишите слой TL напрямую
• 2. Используйте Lambdalayer, он также может принимать функции с новыми переменными. С помощью этого уровня вы можете подключить все сторонние библиотеки TF и ​​вашу индивидуальную функцию с TL. Вот пример использования керас и TL вместе.

 import tensorflow as tf
import tensorlayer as tl
from keras . layers import *
from tensorlayer . layers import *
def my_fn ( x ):
    x = Dropout ( 0.8 )( x )
    x = Dense ( 800 , activation = 'relu' )( x )
    x = Dropout ( 0.5 )( x )
    x = Dense ( 800 , activation = 'relu' )( x )
    x = Dropout ( 0.5 )( x )
    logits = Dense ( 10 , activation = 'linear' )( x )
    return logits

network = InputLayer ( x , name = 'input' )
network = LambdaLayer ( network , my_fn , name = 'keras' )
...

10. Предложения Токенизация

• Используйте tl.nlp.process_sentence для токенизации предложений, требуются данные NLTK и NLTK

 > >> captions = [ "one two , three" , "four five five" ] # 2个 句 子 
> >> processed_capts = []
> >> for c in captions :
> >>    c = tl . nlp . process_sentence ( c , start_word = "<S>" , end_word = "</S>" )
> >>    processed_capts . append ( c )
> >> print ( processed_capts )
... [[ '<S>' , 'one' , 'two' , ',' , 'three' , '</S>' ],
... [ '<S>' , 'four' , 'five' , 'five' , '</S>' ]]

• Затем используйте tl.nlp.create_vocab, чтобы создать словарь и сохранить как файл txt (он вернет объект tl.nlp.simplevocabulary для Word только для ID)

 > >> tl . nlp . create_vocab ( processed_capts , word_counts_output_file = 'vocab.txt' , min_word_count = 1 )
... [ TL ] Creating vocabulary .
... Total words : 8
... Words in vocabulary : 8
... Wrote vocabulary file : vocab . txt

• Наконец -то используйте tl.nlp.vocabulary для создания словарного объекта из файла словаря TXT, созданного tl.nlp.create_vocab

 > >> vocab = tl . nlp . Vocabulary ( 'vocab.txt' , start_word = "<S>" , end_word = "</S>" , unk_word = "<UNK>" )
... INFO : tensorflow : Initializing vocabulary from file : vocab . txt
... [ TL ] Vocabulary from vocab . txt : < S > < / S > < UNK >
... vocabulary with 10 words ( includes start_word , end_word , unk_word )
...   start_id : 2
...   end_id : 3
...   unk_id : 9
...   pad_id : 0

Затем вы можете составить составление слов с идентификатором или вице -стихом следующим образом:

 > >> vocab . id_to_word ( 2 )
... 'one'
> >> vocab . word_to_id ( 'one' )
... 2
>> > vocab . id_to_word ( 100 )
... '<UNK>'
> >> vocab . word_to_id ( 'hahahaha' )
... 9

• Больше функций предварительной обработки для предложений в TL.Prepro и TL.NLP

11. Динамический RNN и длина последовательности

• Примените нулевую прокладку на партию токенизированных предложений следующим образом:

 > >> sequences = [[ 1 , 1 , 1 , 1 , 1 ],[ 2 , 2 , 2 ],[ 3 , 3 ]]
> >> sequences = tl . prepro . pad_sequences ( sequences , maxlen = None , 
...         dtype = 'int32' , padding = 'post' , truncating = 'pre' , value = 0. )
... [[ 1 1 1 1 1 ]
...  [ 2 2 2 0 0 ]
...  [ 3 3 0 0 0 ]]

• Используйте tl.layers.retrieve_seq_length_op2, чтобы автоматически вычислять длину последовательности из заполнителя и подайте ее в sequence_length

 > >> data = [[ 1 , 2 , 0 , 0 , 0 ], [ 1 , 2 , 3 , 0 , 0 ], [ 1 , 2 , 6 , 1 , 0 ]]
> >> o = tl . layers . retrieve_seq_length_op2 ( data )
> >> sess = tf . InteractiveSession ()
> >> tl . layers . initialize_global_variables ( sess )
> >> print ( o . eval ())
... [ 2 3 4 ]

• Другие методы проблем18

12. Сохранить модели

• 1. tl.files.save_npz Сохраните все параметры модели (веса) в список массива AA, восстановить с помощью tl.files.load_and_assign_npz
• 2. tl.files.save_npz_dict Сохранить все параметры модели (вес) в словаре массива, ключ - это имя параметра, восстановить с помощью tl.files.load_and_assign_npz_dict
• 3. tl.files.save_ckpt Сохраните все параметры модели (вес) в файл Tensorflow CKPT, восстановить с помощью tl.files.load_ckpt .

13. Совместимость с другими обертками TF

TL может взаимодействовать с другими обертками TF, что означает, что если вы найдете некоторые коды или модели, реализованные другими обертками, вы можете просто использовать его!

• Другие реализации TensorFlow Layer могут быть подключены к Tensorlayer через Lambdalayer, см. Пример здесь)
• TF-Slim to TL: Slimnetslayer (вы можете использовать все предварительно обученные сверточные модели Google с этим слоем !!!)

14. Другие

• decay BatchNormLayer по умолчанию составляет 0,9, установленное на 0,999 для большого набора данных.
• Вопрос Matplotlib возникает при импорте проблем TensorLayer, см. FQA

Полезные ссылки

• Awesome-Tensorlayer для всех примеров
• Официальные сайты TL: Docs, 中文文档, GitHub
• Обучение глубокому обучению с TF и ​​TL
• Следуйте за Zsdonghao для дальнейших примеров

Автор

• Чжан Руи
• Хао Донг