PyTorch_GBW_LM

Pytorch大规模语言模型

在1亿个单词（LM1B） /（GBW）数据集的大规模pytorch语言模型

最新结果

• 39.98使用LSTM语言模型和Adam Optimizer使用LSTM语言模型后的5个训练时期的困惑
• 使用1个NVIDIA V100 GPU（每个时期〜5.1小时）在〜26小时内接受训练，其批次尺寸（ 〜10.7 GB GPU内存）

先前的结果

• 46.47在5个训练时期后，在1层，2048-UNIT，256投影LSTM语言模型[3]
• 使用1个NVIDIA P100 GPU训练3天（每个时期〜12.5小时）
• 实施了采样的软磁和对数均匀的采样器功能

GPU硬件要求

类型	LM内存大小	GPU
带有绑定重量	〜9 GB	NVIDIA 1080 TI，NVIDIA TITAN X
带绑重的权重[6]	〜7 GB	NVIDIA 1070或更高

• 可以选择将单词嵌入和软磁性矩阵绑定在一起以节省GPU内存。

超参数[3]

范围	价值
＃时代	5
培训批量大小	128
评估批量大小	1
BPTT	20
嵌入尺寸	256
隐藏尺寸	2048
投影大小	256
绑扎 + softmax	错误的
＃层	1
优化器	Adagrad
学习率	0.10
梯度剪裁	1.00
辍学	0.01
体重 - 纪念日（L2罚款）	1E-6

设置 - 火炬数据格式

1. 下载Google dillion Word Datat for Torch-链接
2. 在“ train_data.th7”文件上运行“ process_gbw.py”以创建“ train_data.sid”文件
3. 安装Cython框架并构建log_uniform Sampler
4. 将火炬数据张量转换为pytorch张量格式（需要Pytorch V0.4.1）

我利用用于火炬框架的GBW数据预处理。 （请参阅Torch GBW）每个数据张量包含数据分区中的所有单词。 “ train_data.sid”文件标记了每个独立句子的开始和结束位置。预处理步骤和“ train_data.sid”文件加快了大量培训数据。

• 数据张量 - （test_data，有效_data，train_data，train_small，train_tiny） - （#words x 2）矩阵 - （句子ID，单词ID）
• 句子ID张量 - （#Sentences x 2）矩阵 - （启动位置，句子长度）

设置 - 原始数据格式

1. 下载1亿个单词数据集 - 链接

火炬数据格式一次加载整个数据集，因此它至少需要32 GB的内存。原始格式将数据集划分为较小的块，但运行速度较慢。

参考

1. 探索语言建模github的限制
2. LSTM网络的分解技巧GitHub
3. GPU github的有效软效果近似
4. 候选抽样
5. 火炬GBW
6. 绑定单词向量和单词分类器：语言建模的损失框架