gpt2 text generation

gpt2-text產生

通過https://trustmeyourealive.wordpress.com/在博客數據集上使用OpenAI的GPT-2進行微調和文本生成。

content-extraction ：使用WordPress API提取博客數據

dataset ：提取內容的火車，驗證，測試數據集

prepare_data.ipynb ：將數據準備成火車，有效，測試文件

text_generation.ipyb ：準備火車和文本生成的微調GPT-2

數據集詳細信息：

總令牌：246446（76篇文章）
詞彙：50260
訓練集（按線）：2752

克隆後需要更換的transformers中的代碼文件： run_generation.py和run_language_modeling.py （text_generation.ipynb中的指令）

生成的序列

坦白說，我敬畏/震驚 - 這些序列聽起來確實像我一樣，我很放心的GPT -3還沒有開源（尚未開）：

1. 這是讓您感到最焦慮的時刻。
2. 直到我們學期結束時，還有幾天 - 星期六。
3. 但是我和我的兄弟彼此認識，我們也知道他總是穿著綠色的T恤和灰色牛仔褲，搭配綠色襪子，覆蓋在他的左大腿下半英寸。
4. 我一直想成為社會的一部分或人的一部分。
5. 一個小時不到5分鐘（如果您離開家，有時甚至更長）。