gpt2 text generation

gpt2-text-generation

https://trustmeyourealive.wordpress.com/のブログデータセットでOpenaiのGPT-2を使用した微調整とテキストジェネレーション。

content-extraction ：WordPress APIを使用してブログデータを抽出します

dataset ：抽出されたコンテンツからのトレーニング、検証、テストデータセット

prepare_data.ipynb ：データを電車、有効なテストファイルに準備します

text_generation.ipyb ：準備された列車セットとテキスト生成でGPT-2を微調整します

データセットの詳細：

合計トークン：246446（76記事）
語彙：50260
トレーニングセット（ライン別）：2752

クローニング後に交換する必要があるtransformersのコードファイル： run_generation.py and run_language_modeling.py （text_generation.ipynbの指示）

生成されたシーケンス

率直に言って、私はa敬の念を抱いています - これらのシーケンスは本当に私のように聞こえます、そして私はGPT -3が（まだ）開かれていないことを非常に安心しています：

1. それはあなたに最も不安を抱かせる瞬間です。
2. 私たちの学期の終わりまで残っている日はまだあります - それは土曜日です。
3. しかし、私の兄弟と私はお互いを知っています。彼はいつも緑のTシャツと灰色のジーンズを着ています。
4. 私はいつも社会の一部、または人々の一部になりたいと思っていました。
5. 1時間は5分未満（家を出るとさらに長くなることもあります）。