TinyStories

存儲庫包含配置28M Param GPT-2模型的代碼，以在像Tinystories Paper這樣的小故事數據集上訓練它。在論文中，他們使用了GPT-2和GPT-NEO模型的幾種變體，但GPT-2是聚光燈版本。他們試圖表明您可以創建一個SLM（小語言模型），直到有意義並與LLM競爭。

我僅提供代碼將28M模型配置為變形金剛當前有問題來安裝我喜歡的版本transformers==4.2.2 ，如果您使用Pytorch並且需要partial state ，則需要加速新變形金剛，我不確定您至少現在如何解決部分狀態錯誤。但是，我希望方法可以盡快配置28m型號！這就是為什麼我只提供配置代碼。稍後將更新存儲庫以添加培訓代碼。

即將到來的更新：

• 提供培訓腳本
• 在.txt格式中提供微型數據集

當前更新：

• Torchscale Library方法添加了用於編碼LLM的任何數量參數的llm。筆記本：https：//github.com/sleepingcat4/tinystories/blob/master/Alright! _calcualty_param.ipynb

數據集：Tinystories數據集有兩個部分``1。 GPT-3.5 Turbo生成的數據集and 2.GPT-4生成的數據集包括兩者都將佔用一個色調的空間，這就是為什麼我只提供GPT-3.5 Turbo數據集。 Google Drive鏈接

在“數據集”部分提供的Google Drive鏈接中，您可以找到紙張自動'使用的GPT-3.5（Turbo）和GPT-4數據集

如果您發現它有幫助並幫助其他人找到它，請播放該存儲庫。紙鏈接