awd lstm tensorflow下載awd lstm tensorflow源代碼下載

awd lstm tensorflow

Ai源碼

1.0.0

下載

AWD-LSTM（重量Drop LSTM）具有訓練量量化的量

來自（“正規化和優化LSTM語言模型”）的AWD-LSTM用於TensorFlow。

訓練量量化的量化量化量化的量化量化的量化量化（“還提供了“有效整數僅推斷的神經網絡的量化和培訓”）。

AWD-LSTM（重量下降LSTM）

環境

該代碼已進行了tensorflow 1.11.0的實施和測試。和1.13.0。

用法

只需初始的AWD-LSTM，它就是標準的LayerRNNCell 。

 from weight_drop_lstm import WeightDropLSTMCell

lstm_cell = WeightDropLSTMCell(
    num_units=CELL_NUM, weight_drop_kr=WEIGHT_DP_KR, 
    use_vd=True, input_size=INPUT_SIZE)

參數定義如下：

num_units ：LSTM層中的單元格數。 [int]
weight_drop_kr ：快速權重的步驟數。 [int]
use_vd ：如果為true，則在重量下降連接上使用變分輟學，否則使用標準輟學。 [bool]
input_size ：如果use_vd=True ，則應提供input_size（上一個通道的維度）。 [int]

其餘的關鍵字參數與tf.nn.LSTMCell完全相同。

指出，如果未提供或提供1.0的weiver_drop_kr，則WeightDropLSTMCell被減少為LSTMCell 。

將輟學內核的更新操作插入所需的位置。

 # By simply sess.run in each training step
sess.run(lstm_cell.get_vd_update_op())

# Or use control_dependencies
vd_update_ops = lstm_cell.get_vd_update_op() 
with tf.control_dependencies(vd_update_ops):
    tf.train.AdamOptimizer(learning_rate).minimize(loss)

您還可以在調用WeightDropLSTMCell時將get_vd_update_op()添加到GraphKeys.UPDATE_OPS 。

指出，如果您使用control_dependencies ，請小心執行順序。
在優化器步驟之前，不應更新差異內核。

實施詳細信息

AWD-LSTM的主要思想是連接的權重和限制輸入。重量和置換輸入的滴連鎖連接

如果is_vd=True ，則將變量用於保存輟學內核。變異輟學的更新操作

實驗結果

我已經對此實施進行了多對多遞歸任務進行實驗，並且比簡單的LSTMCell進行了更好的結果。

訓練量量化

簡而言之

 lstm_cell = WeightDropLSTMCell(
    num_units=CELL_NUM, weight_drop_kr=WEIGHT_DP_KR, 
    is_quant=True, is_train=True)
    
tf.contrib.quantize.create_training_graph(sess.graph, quant_delay=0)

詳細說明將很快更新。

指出：某些量化問題將在`tf.while`中出現，而版本高於1.12.0。

成癮：差異

我還提供了變異輟學的張量實現，它比TensorFlow中的DropoutWrapper更靈活。

用法類似於使用WeightDropLSTMCell ：

 from variational_dropout import VariationalDropout

vd = VariationalDropout(input_shape=[5], keep_prob=0.5)

# Directly sess.run() to update
sess.run(vd.get_update_mask_op())

# Or use control_dependencies
with tf.control_dependencies(vd.get_update_mask_op()):
    step, results_array = tf.while_loop(
        cond=lambda step, _: step < 5,
        body=main_loop,
        loop_vars=(step, results_array))
"""
    This is just a simple example. 
    Usually, control_dependencies will be placed where optimizer stepping.
"""

您還可以在調用VariationalDropout時將get_update_mask_op()添加到GraphKeys.UPDATE_OPS 。

再一次，如果您使用control_dependencies ，請小心執行順序。