awd lstm tensorflow

Tensorflowでのトレーニング賞の量子化を備えたAWD-LSTM（重量ドロップLSTM）

Tensorflowの（ "LSTM言語モデルの正規化と最適化）からのA​​WD-LSTM。

整数 - アリットメティックのみの推論のためのトレーニングアワード量子化（「効率的な整数 - アリスメティックのみの推論のためのニューラルネットワークの量子化とトレーニング」）も提供されています。

AWD-LSTM（重量ドロップLSTM）

環境

このコードは実装され、Tensorflow 1.11.0でテストされています。および1.13.0。

使用法

1. 単に初期AWD-LSTMでは、標準のLayerRNNCellです。

 from weight_drop_lstm import WeightDropLSTMCell

lstm_cell = WeightDropLSTMCell(
    num_units=CELL_NUM, weight_drop_kr=WEIGHT_DP_KR, 
    use_vd=True, input_size=INPUT_SIZE)

引数は次のように定義されます。

num_units ：LSTM層のセルの数。 [ints]
weight_drop_kr ：高速なウェイトが前進するステップの数。 [int]
use_vd ：trueの場合、重量ドロップコネクトで変異ドロップアウトを使用して、それ以外の場合は標準ドロップアウトを使用します。 [ブール]
input_size ： use_vd=True 、input_size（最終チャネルのディメンション）を提供する必要があります。 [int]

残りのキーワード引数は、 tf.nn.LSTMCellとまったく同じです。

Yeate_drop_krに1.0が提供または提供されていない場合、 WeightDropLSTMCellはLSTMCellとして削減されます。

2. ドロップアウトカーネルの更新操作を必要な場所に挿入します。

 # By simply sess.run in each training step
sess.run(lstm_cell.get_vd_update_op())

# Or use control_dependencies
vd_update_ops = lstm_cell.get_vd_update_op() 
with tf.control_dependencies(vd_update_ops):
    tf.train.AdamOptimizer(learning_rate).minimize(loss)

WeightDropLSTMCellを呼び出すときに、 get_vd_update_op()をGraphKeys.UPDATE_OPSに追加することもできます。

control_dependenciesを使用する場合は、実行の順序に注意してください。
変分ドロップアウトカーネルは、オプティマイザーステップの前に更新しないでください。

実装の詳細

AWD-LSTMの主なアイデアは、ドロップ接続の重みと連動した入力です。

is_vd=Trueの場合、変数を使用してドロップアウトカーネルを保存します。

実験結果

私は、この実装の多目的な再帰タスクに関する実験を行い、単純なLSTMCellよりも良い結果を実行します。

トレーニング賞の量子化

一言で言えば

 lstm_cell = WeightDropLSTMCell(
    num_units=CELL_NUM, weight_drop_kr=WEIGHT_DP_KR, 
    is_quant=True, is_train=True)
    
tf.contrib.quantize.create_training_graph(sess.graph, quant_delay=0)

詳細な説明はまもなく更新されます。

それに注意してください：量子化のいくつかの問題はtf.whileで発生しますが、1.12.0を超えるバージョンでは

中毒：変分ドロップアウト

また、TensorflowのDropoutWrapperよりも柔軟性のある変分ドロップアウトのTensorflow実装も提供しました。

使用法は、 WeightDropLSTMCellの使用に似ています。

 from variational_dropout import VariationalDropout

vd = VariationalDropout(input_shape=[5], keep_prob=0.5)

# Directly sess.run() to update
sess.run(vd.get_update_mask_op())

# Or use control_dependencies
with tf.control_dependencies(vd.get_update_mask_op()):
    step, results_array = tf.while_loop(
        cond=lambda step, _: step < 5,
        body=main_loop,
        loop_vars=(step, results_array))
"""
    This is just a simple example. 
    Usually, control_dependencies will be placed where optimizer stepping.
"""

VariationalDropoutを呼び出すときに、 get_update_mask_op() GraphKeys.UPDATE_OPSに追加することもできます。

もう一度、 control_dependenciesを使用する場合は、実行の順序に注意してください。

やる

1. 論文に記載されている規制ユーティリティを提供します。
2. 多分、変分ドロップアウトを実装するためのよりエレガントな方法があるかもしれません。
3. 量子化遅延を引き出します。
4. 定量化されていないモデルと量子化モードのインターフェイスを提供します。
5. 量子化トレーニングのためのドキュメント。

提案がある場合は、お知らせください。かなり感謝します！

連絡して右にコピーします

jia-yau shiau [email protected]によるコードワーク。
量子化コード作業は、Peter Huang [email protected]からお勧めし、フォークされています