PyTorch_GBW_LM

Pytorch大規模語言模型

在1億個單詞（LM1B） /（GBW）數據集的大規模pytorch語言模型

最新結果

• 39.98使用LSTM語言模型和Adam Optimizer使用LSTM語言模型後的5個訓練時期的困惑
• 使用1個NVIDIA V100 GPU（每個時期〜5.1小時）在〜26小時內接受訓練，其批次尺寸（ 〜10.7 GB GPU內存）

先前的結果

• 46.47在5個訓練時期後，在1層，2048-UNIT，256投影LSTM語言模型[3]
• 使用1個NVIDIA P100 GPU訓練3天（每個時期〜12.5小時）
• 實施了採樣的軟磁和對數均勻的採樣器功能

GPU硬件要求

類型	LM內存大小	GPU
帶有綁定重量	〜9 GB	NVIDIA 1080 TI，NVIDIA TITAN X
帶綁重的權重[6]	〜7 GB	NVIDIA 1070或更高

• 可以選擇將單詞嵌入和軟磁性矩陣綁定在一起以節省GPU內存。

超參數[3]

範圍	價值
＃時代	5
培訓批量大小	128
評估批量大小	1
BPTT	20
嵌入尺寸	256
隱藏尺寸	2048
投影大小	256
綁紮 + softmax	錯誤的
＃層	1
優化器	Adagrad
學習率	0.10
梯度剪裁	1.00
輟學	0.01
體重 - 紀念日（L2罰款）	1E-6

設置 - 火炬數據格式

1. 下載Google dillion Word Datat for Torch-鏈接
2. 在“ train_data.th7”文件上運行“ process_gbw.py”以創建“ train_data.sid”文件
3. 安裝Cython框架並構建log_uniform Sampler
4. 將火炬數據張量轉換為pytorch張量格式（需要Pytorch V0.4.1）

我利用用於火炬框架的GBW數據預處理。 （請參閱Torch GBW）每個數據張量包含數據分區中的所有單詞。 “ train_data.sid”文件標記了每個獨立句子的開始和結束位置。預處理步驟和“ train_data.sid”文件加快了大量培訓數據。

• 數據張量 - （test_data，有效_data，train_data，train_small，train_tiny） - （#words x 2）矩陣 - （句子ID，單詞ID）
• 句子ID張量 - （#Sentences x 2）矩陣 - （啟動位置，句子長度）

設置 - 原始數據格式

1. 下載1億個單詞數據集 - 鏈接

火炬數據格式一次加載整個數據集，因此它至少需要32 GB的內存。原始格式將數據集劃分為較小的塊，但運行速度較慢。

參考

1. 探索語言建模github的限制
2. LSTM網絡的分解技巧GitHub
3. GPU github的有效軟效果近似
4. 候選抽樣
5. 火炬GBW
6. 綁定單詞向量和單詞分類器：語言建模的損失框架