TinyStories

リポジトリには、28mのPARAM GPT-2モデルを構成するコードが含まれています。TinyStoriesペーパーのようなTinyStoriesデータセットでトレーニングします。論文では、 GPT-2およびGPT-Neoモデルのいくつかのバリエーションを使用しましたが、 GPT-2はスポットライトバージョンでした。彼らは、理にかなってLLMSと競争するまで、小さなサイズがパラマルになるSLM（小さな言語モデル）を作成できることを示しようとしました。

私は28mモデルを設定するためのコードのみを提供しています。トランスは現在私のお気に入りのバージョンtransformers==4.2.2インストールするための問題を抱えているために変圧器として、Pytorchを使用している場合に加速する必要があり、 partial stateを必要とします。しかし、私は28mモデルをできるだけ早く設定する方法を望んでいました！だから、私は構成コードのみを提供しています。後でリポジトリを更新してトレーニングコードを追加します。

今後の更新：

• トレーニングスクリプトを提供します
• .txt形式でTinystoriesデータセットを提供します

現在の更新：

• 任意の量のパラメーションのLLMを簡単にコーディングするために追加されたトーチスケールライブラリメソッド。ノートブック：https：//github.com/sleepingcat4/tinystories/blob/master/alright!_calculated_pa​​ram.ipynb

データセット：Tinystories Datasetには2つの部分「1」がありました。 GPT-3.5ターボ生成データセットand 2.GPT -4生成されたデータセット ``を含む。 Googleドライブリンク

DataSetsセクションで提供されているGoogleドライブリンクには、Paperの自動車で使用されるGPT-3.5（ターボ）とGPT-4データセットの両方が見つかります。

あなたがそれが役立つと見つけて、他の人がそれを見つけるのを助けるならば、リポジトリを主演させてください。紙のリンク