f lm

f-lm

語言建模。該代碼庫包含[1]的G-LSTM和F-LSTM單元的實現。它也可能包含一些正在進行的實驗。

該代碼摘自https://github.com/rafaljozefowicz/lm，並包含[2]的“ biglstm”語言模型基線。

當前代碼在TensorFlow R1.5上運行，並使用同步梯度更新支持多GPU數據並行性。

困惑

在一個DGX-1中使用8個GPU的十億個單詞基準中，Big G-LSTM G4在訓練2週後能夠達到24.29，在3週後23.36實現了23.36。

在2018年2月6日，我們發現了實驗設置的一個問題，該問題使紙張中列出的困惑數字無效。

請參閱下表中的當前數字。

在DGX站上，經過所有4個GPU（Tesla V100）的培訓1週後，每GPU的批次大小為256：

模型	困惑	步驟	WPS
Biglstm	35.1	〜0.99m	〜33.8k
大F-LSTM F512	36.3	〜1.67m	〜56.5k
大G-LSTM G4	40.6	〜1.65m	〜56K
大G-LSTM G2	36	〜137m	〜47.1k
大G-LSTM G8	39.4	〜1.7m	〜58.5

依賴性

• TensorFlow R1.5
• Python 2.7（也應該與Python 3一起使用）
• 1B Word基準數據集（https://github.com/ciprian-chelba/1-billion-word-language-modeling-benchmark以獲取數據）

運行

假設數據目錄在： /raid/okuchaiev/Data/LM1B/1-billion-word-language-modeling-benchmark-r13output/ ，執行：

 export CUDA_VISIBLE_DEVICES=0,1,2,3

SECONDS=604800
LOGSUFFIX=FLSTM-F512-1week

python /home/okuchaiev/repos/f-lm/single_lm_train.py --logdir=/raid/okuchaiev/Workspace/LM/GLSTM-G4/$LOGSUFFIX --num_gpus=4 --datadir=/raid/okuchaiev/Data/LM/LM1B/1-billion-word-language-modeling-benchmark-r13output/ --hpconfig run_profiler=False,float16_rnn=False,max_time=$SECONDS,num_steps=20,num_shards=8,num_layers=2,learning_rate=0.2,max_grad_norm=1,keep_prob=0.9,emb_size=1024,projected_size=1024,state_size=8192,num_sampled=8192,batch_size=256,fact_size=512  >> train_$LOGSUFFIX.log 2>&1

python /home/okuchaiev/repos/f-lm/single_lm_train.py --logdir=/raid/okuchaiev/Workspace/LM/GLSTM-G4/$LOGSUFFIX --num_gpus=1 --mode=eval_full --datadir=/raid/okuchaiev/Data/LM/LM1B/1-billion-word-language-modeling-benchmark-r13output/ --hpconfig run_profiler=False,float16_rnn=False,max_time=$SECONDS,num_steps=20,num_shards=8,num_layers=2,learning_rate=0.2,max_grad_norm=1,keep_prob=0.9,emb_size=1024,projected_size=1024,state_size=8192,num_sampled=8192,batch_size=1,fact_size=512

• 使用G-LSTM單元格指定num_of_groups參數。
• 要使用f-lstm cell指定fact_size參數。

請注意，當前的數據讀取器在構造迷你批次時可能會錯過一些令牌，這可能會對最終的困惑產生較小的影響。

對於最準確的結果，在評估中使用batch_size = 1，num_steps = 1。感謝Ciprian注意到這一點。

更改超參數

該命令接受和其他參數--hpconfig允許覆蓋各種超參數，包括：

• batch_size = 128-批次尺寸每GPU 。全局批次尺寸= batch_size*num_gpus
• num_steps = 20- LSTM單元格時間段的數量
• num_shards = 8-嵌入和SoftMax矩陣分為多個碎片
• num_layers = 1- LSTM層的數字
• Learning_rate = 0.2-優化器的學習率
• max_grad_norm = 10.0- LSTM層的最大可接受梯度標準
• keep_prob = 0.9-輟學的概率
• 優化器= 0-要使用的優化器：Adagrad（0），動量（1），Adam（2），RMSProp（3），SGD（4）
• vocab_size = 793470- vocabluary尺寸
• EMB_SIZE = 512-嵌入式的大小（應與Projected_size相同）
• state_size = 2048 -LSTM單元大小
• Projected_size = 512 -LSTM投影大小
• num_sampled = 8192-培訓使用採樣的軟馬克斯，樣本數）
• do_summaries = false-生成張板的重量和畢業統計數據
• max_time = 180-最大時間（以秒為單位）運行
• fact_size-要使用f -lstm單元格，應將其設置為因子大小
• num_of_groups = 0-要使用G -LSTM單元格，應將其設置為組數
• save_model_every_min = 30-多久一次到檢查點。
• save_summary_every_min = 16-保存摘要的頻率
• use_residual = false-是否使用LSTM殘差連接

回饋

分叉代碼和GLSTM/FLSTM單元格：[email protected]

參考

• [1] LSTM網絡的分解技巧，ICLR 2017研討會。
• [2]探索語言建模的限制