scaling laws for language transfer

語言轉移學習法則

來自博客文章縮放法的代碼和模型，用於語言傳輸學習

動機

基於從縮放法律進行轉移的工作（Hernandez etal。2021），我的實驗重點是探索對非英語語言進行微調之間的關係，並試圖回答這個問題：當我們在不同語言上轉移時，在不同的語言中進行預培訓時，我們會隨著不同的語言和模型大小而變化？

用法

此存儲庫包含：

1. 使用縮放法律的神經語言縮放法則，在OpenWebText2而不是WebText上培訓的超級參數，而不是WebText培訓
2. 在中文，西班牙語和德語文本中重現預先培訓的英語模型的語言轉移實驗

所有英語預培訓模型均經過260億個令牌培訓，沒有重複：

• X6SMALL 330萬非安裝參數
• X5SMALL 16m非安裝參數
• X4SMALL 39m非安裝參數
• X3SMALL 51m非安裝參數
• X2SMALL 70m非安裝參數
• 小於124m的非安裝參數

數據集

• 英語：OpenWebText2
• 德語：奧斯卡
• 西班牙語：奧斯卡
• 中文：社區QA（WebText2091zh）