Startseite>Programmierbezogen>Anderer Quellcode
Herunterladen

So verwenden Sie TensorLayer

Während die Forschung in Deep Learning die Welt weiter verbessert, verwenden wir eine Reihe von Tricks, um Algorithmen mit TensorLayer -Tag von Tag zu Tag zu implementieren.

Hier sind eine Zusammenfassung der Tricks, um TensorLayer zu verwenden. Wenn Sie einen Trick finden, der in der Praxis besonders nützlich ist, öffnen Sie bitte eine Pull -Anfrage, um ihn dem Dokument hinzuzufügen. Wenn wir feststellen, dass es vernünftig und verifiziert ist, werden wir es zusammenführen.

  • ? 《深度学习 ： 一起玩转 TensorLayer 》已上架。

1. Installation

  • Um Ihre TL -Version aufzubewahren und den Quellcode einfach zu bearbeiten, können tensorlayer das gesamte Repository herunterladen, indem Sie git clone https://github.com/zsdonghao/tensorlayer.git in Ihrem Terminal in Ihr Projekt kopieren
  • Da TL sehr schnell wächst, empfehlen wir Ihnen, die Master -Version zu installieren, wenn Sie pip -Installation verwenden möchten
  • Für die NLP -Anwendung müssen Sie NLTK- und NLTK -Daten installieren

2. Wechselwirkung zwischen TF und TL

  • TF zu TL: Verwenden Sie InputLayer
  • TL zu TF: Verwenden Sie network.outputs
  • Andere Methoden Probleme7, mehrere Eingaben Probleme31

3.. Trainings-/Testwechsel

  • Verwenden Sie Network.all_drop, um die Trainings-/Testphase zu steuern (nur für Dropoutlayer) und dieses Beispiel zu verstehen und die grundlegende Ebene zu verstehen
  • Setzen Sie alternativ is_fix in trueTlayer auf True und erstellen Sie verschiedene Grafiken für das Training/Testen, indem Sie die Parameter wiederverwenden. Sie können auch verschiedene batch_size und Rauschwahrscheinlichkeit für verschiedene Grafiken festlegen. Diese Methode ist die beste, wenn Sie Gaußiannoiselayer, Batchnormlayer usw. verwenden. Hier ist ein Beispiel: 
 def mlp ( x , is_train = True , reuse = False ):
    with tf . variable_scope ( "MLP" , reuse = reuse ):
      net = InputLayer ( x , name = 'in' )
      net = DropoutLayer ( net , 0.8 , True , is_train , name = 'drop1' )
      net = DenseLayer ( net , n_units = 800 , act = tf . nn . relu , name = 'dense1' )
      net = DropoutLayer ( net , 0.8 , True , is_train , name = 'drop2' )
      net = DenseLayer ( net , n_units = 800 , act = tf . nn . relu , name = 'dense2' )
      net = DropoutLayer ( net , 0.8 , True , is_train , name = 'drop3' )
      net = DenseLayer ( net , n_units = 10 , act = tf . identity , name = 'out' )
      logits = net . outputs
      net . outputs = tf . nn . sigmoid ( net . outputs )
      return net , logits
x = tf . placeholder ( tf . float32 , shape = [ None , 784 ], name = 'x' )
y_ = tf . placeholder ( tf . int64 , shape = [ None , ], name = 'y_' )
net_train , logits = mlp ( x , is_train = True , reuse = False )
net_test , _ = mlp ( x , is_train = False , reuse = True )
cost = tl . cost . cross_entropy ( logits , y_ , name = 'cost' )

Mehr hier.

4. Holen Sie sich Variablen und Ausgänge

  • Verwenden Sie tl.layers.get_variables_with_name anstatt net.all_params zu verwenden 
 train_vars = tl . layers . get_variables_with_name ( 'MLP' , True , True )
train_op = tf . train . AdamOptimizer ( learning_rate = 0.0001 ). minimize ( cost , var_list = train_vars )
  • Diese Methode kann auch verwendet werden, um einige Schichten während des Trainings einzufrieren. Erhalten Sie einfach keine Variablen
  • Andere Methoden Themen17, Issues26, FQA
  • Verwenden Sie tl.layers.get_layers_with_name, um eine Liste der Aktivierungsausgänge aus einem Netzwerk abzurufen. 
 layers = tl . layers . get_layers_with_name ( network , "MLP" , True )
  • Diese Methode wird normalerweise zur Aktivierung der Regularisierung verwendet.

5. Datenvergrößerung für einen großen Datensatz

Wenn Ihr Datensatz groß ist, werden die Datenbelastung und die Datenvergrößerung zum Bottomke und verlangsamen das Training. Um die Datenverarbeitung zu beschleunigen, können Sie:

  • Verwenden Sie TFRECORD- oder TF -Datasetapi, siehe CIFAR10 -Beispiele

6. Datenvergrößerung für kleine Datensatz

Wenn Ihre Datengröße klein genug ist, um in den Speicher Ihrer Maschine zu füttern, und die Datenvergrößerung einfach ist. Um leicht zu debuggen, können Sie:

  • Verwenden Sie tl.Iterate.Minibatches, um die Beispiele und Beschriftungen mit dem angegebenen Batchsize zurückzugeben.
  • Verwenden Sie tl.prepro.threading_data, um zu Beginn jedes Schritts eine Datenarme zu lesen. Die Leistung ist langsam, aber gut für kleine Datensatze.
  • Verwenden Sie für Zeitreihendaten tl.Iterate.seq_Minibatches, tl.Iterate.seq_Minibatches2, TL.Ireate.Ptb_iterator usw.

7. Vorausgebildeter CNN und Resnet

  • Vor-aus-CNN
  • Viele Anwendungen machen ein vorgebildetes CNN-Modell benötigt
  • TL bietet vorgebildete VGG16, VGG19, Mobilenet, Squeezenet und etc: tl.models
  • TL.Layers.SlimNetSlayer ermöglicht es Ihnen, alle mit TF-Slim vorgebildeten Modelle und TensorLayer/Pretrainined-Modelle zu verwenden
  • Resnet
  • Implementiert von "for" -Sloop issue85
  • Andere Methoden von @ritchieng

8. Verwenden von tl.models

  • Verwenden Sie VGG16 für die ImageNet -Klassifizierung 
 x = tf . placeholder ( tf . float32 , [ None , 224 , 224 , 3 ])
# get the whole model
vgg = tl . models . VGG16 ( x )
# restore pre-trained VGG parameters
sess = tf . InteractiveSession ()
vgg . restore_params ( sess )
# use for inferencing
probs = tf . nn . softmax ( vgg . outputs )
  • Extrahieren Sie Merkmale mit VGG16 und senden Sie einen Klassifikator mit 100 Klassen erneut 
 x = tf . placeholder ( tf . float32 , [ None , 224 , 224 , 3 ])
# get VGG without the last layer
vgg = tl . models . VGG16 ( x , end_with = 'fc2_relu' )
# add one more layer
net = tl . layers . DenseLayer ( vgg , 100 , name = 'out' )
# initialize all parameters
sess = tf . InteractiveSession ()
tl . layers . initialize_global_variables ( sess )
# restore pre-trained VGG parameters
vgg . restore_params ( sess )
# train your own classifier (only update the last layer)
train_params = tl . layers . get_variables_with_name ( 'out' )
  • Model wiederverwenden 
 x1 = tf . placeholder ( tf . float32 , [ None , 224 , 224 , 3 ])
x2 = tf . placeholder ( tf . float32 , [ None , 224 , 224 , 3 ])
# get VGG without the last layer
vgg1 = tl . models . VGG16 ( x1 , end_with = 'fc2_relu' )
# reuse the parameters of vgg1 with different input
vgg2 = tl . models . VGG16 ( x2 , end_with = 'fc2_relu' , reuse = True )
# restore pre-trained VGG parameters (as they share parameters, we don’t need to restore vgg2)
sess = tf . InteractiveSession ()
vgg1 . restore_params ( sess )

9. Customized Layer

    1. Schreiben Sie eine TL -Ebene direkt
    1. Verwenden Sie Lambdalayer, es kann auch Funktionen mit neuen Variablen akzeptieren. Mit dieser Ebene können Sie alle TF -Bibliotheken von Drittanbietern und Ihre angepasste Funktion mit TL anschließen. Hier ist ein Beispiel für die Verwendung von Keras und TL zusammen. 
 import tensorflow as tf
import tensorlayer as tl
from keras . layers import *
from tensorlayer . layers import *
def my_fn ( x ):
    x = Dropout ( 0.8 )( x )
    x = Dense ( 800 , activation = 'relu' )( x )
    x = Dropout ( 0.5 )( x )
    x = Dense ( 800 , activation = 'relu' )( x )
    x = Dropout ( 0.5 )( x )
    logits = Dense ( 10 , activation = 'linear' )( x )
    return logits

network = InputLayer ( x , name = 'input' )
network = LambdaLayer ( network , my_fn , name = 'keras' )
...

10. Sätze Tokenisierung

  • Verwenden Sie tl.nlp.process_Sentenz, um die Sätze zu tokenisieren. 
 > >> captions = [ "one two , three" , "four five five" ] # 2个 句 子 
> >> processed_capts = []
> >> for c in captions :
> >>    c = tl . nlp . process_sentence ( c , start_word = "<S>" , end_word = "</S>" )
> >>    processed_capts . append ( c )
> >> print ( processed_capts )
... [[ '<S>' , 'one' , 'two' , ',' , 'three' , '</S>' ],
... [ '<S>' , 'four' , 'five' , 'five' , '</S>' ]]
  • Verwenden Sie dann tl.nlp.create_vocab, um ein Vokabular zu erstellen und als TXT -Datei zu speichern (es wird ein tl.nlp.simplevokabular -Objekt nur für Word zu ID zurückgegeben) 
 > >> tl . nlp . create_vocab ( processed_capts , word_counts_output_file = 'vocab.txt' , min_word_count = 1 )
... [ TL ] Creating vocabulary .
... Total words : 8
... Words in vocabulary : 8
... Wrote vocabulary file : vocab . txt
  • Verwenden Sie schließlich tl.nlp.vocabulary, um ein Vokabularobjekt aus der von tl.nlp.create_vocab erstellten TXT -Vokabular -Datei zu erstellen 
 > >> vocab = tl . nlp . Vocabulary ( 'vocab.txt' , start_word = "<S>" , end_word = "</S>" , unk_word = "<UNK>" )
... INFO : tensorflow : Initializing vocabulary from file : vocab . txt
... [ TL ] Vocabulary from vocab . txt : < S > < / S > < UNK >
... vocabulary with 10 words ( includes start_word , end_word , unk_word )
...   start_id : 2
...   end_id : 3
...   unk_id : 9
...   pad_id : 0

Dann können Sie das Wort auf ID oder Vice Vers wie folgt zuordnen: 

 > >> vocab . id_to_word ( 2 )
... 'one'
> >> vocab . word_to_id ( 'one' )
... 2
>> > vocab . id_to_word ( 100 )
... '<UNK>'
> >> vocab . word_to_id ( 'hahahaha' )
... 9
  • Weitere Vorverarbeitungsfunktionen für Sätze in tl.prepro und tl.nlp

11. Dynamische RNN und Sequenzlänge

  • Wenden Sie keine Polsterung auf eine Reihe von tokenisierten Sätzen wie folgt an: 
 > >> sequences = [[ 1 , 1 , 1 , 1 , 1 ],[ 2 , 2 , 2 ],[ 3 , 3 ]]
> >> sequences = tl . prepro . pad_sequences ( sequences , maxlen = None , 
...         dtype = 'int32' , padding = 'post' , truncating = 'pre' , value = 0. )
... [[ 1 1 1 1 1 ]
...  [ 2 2 2 0 0 ]
...  [ 3 3 0 0 0 ]]
  • Verwenden Sie tl.layers.retrieve_seq_length_op2, um die Sequenzlänge automatisch von Sighteholder zu berechnen und die sequence_length von DynamicRnnlayer zu füttern 
 > >> data = [[ 1 , 2 , 0 , 0 , 0 ], [ 1 , 2 , 3 , 0 , 0 ], [ 1 , 2 , 6 , 1 , 0 ]]
> >> o = tl . layers . retrieve_seq_length_op2 ( data )
> >> sess = tf . InteractiveSession ()
> >> tl . layers . initialize_global_variables ( sess )
> >> print ( o . eval ())
... [ 2 3 4 ]
  • Andere Methodenprobleme18

12. Modelle speichern

    1. tl.files.save_npz speichern alle Modellparameter (Gewichte) in AA -Liste von Array, wiederherstellen Sie mit tl.files.load_and_assign_npz
    1. tl.files.save_npz_dict speichern alle Modellparameter (Gewichte) in ein Array -Wörterbuch. Taste ist der Parametername, wiederherstellen mit tl.files.load_and_assign_npz_dict
    1. tl.files.save_ckpt speichern alle Modellparameter (Gewichte) in TensorFlow CKPT -Datei, wiederherstellen Sie mit tl.files.load_ckpt .

13. Kompatibilität mit anderen TF -Wrappern

TL kann mit anderen TF -Wrappern interagieren. Wenn Sie einige Codes oder Modelle finden, die von anderen Wrappern implementiert werden, können Sie es einfach verwenden!

  • Andere Tensorflow -Schicht -Implementierungen können über Lambdalayer mit TensorLayer verbunden werden, siehe Beispiel hier)
  • TF-Slim to TL: SlimNetSlayer (Sie können alle vorgeborenen Faltungsmodelle von Google mit dieser Ebene verwenden !!!)

14. Andere

  • Der decay -Standard von BatchNormLayer beträgt 0,9 und für einen großen Datensatz auf 0,999.
  • Matplotlib -Problem entstehen beim Importieren von TensorLayer -Problemen, siehe FQA

Nützliche Links

  • Fantastische Tensorlayer für alle Beispiele
  • Tl offizielle Websites: Docs, 中文文档, Github
  • Tiefeslernen mit TF und TL lernen
  • Folgen Sie Zsdonghao für weitere Beispiele

Autor

  • Zhang Rui
  • Hao Dong
Expandieren
Zusätzliche Informationen
Ähnliche Anwendungen
Empfohlen für Sie
Ähnliche Nachrichten Alle