TinyStories

存储库包含配置28M Param GPT-2模型的代码，以在像Tinystories Paper这样的小故事数据集上训练它。在论文中，他们使用了GPT-2和GPT-NEO模型的几种变体，但GPT-2是聚光灯版本。他们试图表明您可以创建一个SLM（小语言模型），直到有意义并与LLM竞争。

我仅提供代码将28M模型配置为变形金刚当前有问题来安装我喜欢的版本transformers==4.2.2 ，如果您使用Pytorch并且需要partial state ，则需要加速新变形金刚，我不确定您至少现在如何解决部分状态错误。但是，我希望方法可以尽快配置28m型号！这就是为什么我只提供配置代码。稍后将更新存储库以添加培训代码。

即将到来的更新：

• 提供培训脚本
• 在.txt格式中提供微型数据集

当前更新：

• Torchscale Library方法添加了用于编码LLM的任何数量参数的llm。笔记本：https：//github.com/sleepingcat4/tinystories/blob/master/Alright! _calcualty_param.ipynb

数据集：Tinystories数据集有两个部分``1。 GPT-3.5 Turbo生成的数据集and 2.GPT-4生成的数据集包括两者都将占用一个色调的空间，这就是为什么我只提供GPT-3.5 Turbo数据集。 Google Drive链接

在“数据集”部分提供的Google Drive链接中，您可以找到纸张自动'使用的GPT-3.5（Turbo）和GPT-4数据集

如果您发现它有帮助并帮助其他人找到它，请播放该存储库。纸链接