scaling laws for language transfer

语言转移学习法则

来自博客文章缩放法的代码和模型，用于语言传输学习

动机

基于从缩放法律进行转移的工作（Hernandez etal。2021），我的实验重点是探索对非英语语言进行微调之间的关系，并试图回答这个问题：当我们在不同语言上转移时，在不同的语言中进行预培训时，我们会随着不同的语言和模型大小而变化？

用法

此存储库包含：

1. 使用缩放法律的神经语言缩放法则，在OpenWebText2而不是WebText上培训的超级参数，而不是WebText培训
2. 在中文，西班牙语和德语文本中重现预先培训的英语模型的语言转移实验

所有英语预培训模型均经过260亿个令牌培训，没有重复：

• X6SMALL 330万非安装参数
• X5SMALL 16m非安装参数
• X4SMALL 39m非安装参数
• X3SMALL 51m非安装参数
• X2SMALL 70m非安装参数
• 小于124m的非安装参数

数据集

• 英语：OpenWebText2
• 德语：奥斯卡
• 西班牙语：奥斯卡
• 中文：社区QA（WebText2091zh）