gpt2 text generation

gpt2-text产生

通过https://trustmeyourealive.wordpress.com/在博客数据集上使用OpenAI的GPT-2进行微调和文本生成。

content-extraction ：使用WordPress API提取博客数据

dataset ：提取内容的火车，验证，测试数据集

prepare_data.ipynb ：将数据准备成火车，有效，测试文件

text_generation.ipyb ：准备火车和文本生成的微调GPT-2

数据集详细信息：

总令牌：246446（76篇文章）
词汇：50260
训练集（按线）：2752

克隆后需要更换的transformers中的代码文件： run_generation.py和run_language_modeling.py （text_generation.ipynb中的指令）

生成的序列

坦白说，我敬畏/震惊 - 这些序列听起来确实像我一样，我很放心的GPT -3还没有开源（尚未开）：

1. 这是让您感到最焦虑的时刻。
2. 直到我们学期结束时，还有几天 - 星期六。
3. 但是我和我的兄弟彼此认识，我们也知道他总是穿着绿色的T恤和灰色牛仔裤，搭配绿色袜子，覆盖在他的左大腿下半英寸。
4. 我一直想成为社会的一部分或人的一部分。
5. 一个小时不到5分钟（如果您离开家，有时甚至更长）。