gpt2 text generation

GPT2-Text-Geração

Ajuste fina e geração de texto usando o GPT-2 do OpenAI no conjunto de dados do blog em https://trustmeyourealive.wordpress.com/.

content-extraction : Extraindo dados do blog usando a API WordPress

dataset : treinar, validação, conjuntos de dados de teste de conteúdo extraído

prepare_data.ipynb : Prepare os dados em trem, válidos, arquivos de teste

text_generation.ipyb : tune gpt-2 no conjunto de trens preparados e geração de texto

Detalhes do conjunto de dados:

Total Tokens: 246446 (76 artigos)
Vocabulário: 50260
Conjunto de treinamento (por linha): 2752

Arquivos de código nos transformers que precisam ser substituídos após a clonagem: run_generation.py e run_language_modeling.py (Instruções em text_generation.ipynb)

Sequências geradas

Francamente, estou admirado/choque - essas seqüências realmente soam como eu, e estou bastante aliviado GPT -3 ainda não foi de origem aberta (ainda):

1. É o momento que o deixa com mais ansiedade.
2. Ainda restam dias até o final do nosso semestre - é sábado.
3. Mas meu irmão e eu nos conhecemos, também sabemos que ele sempre usa uma camiseta verde e jeans cinza com meias verdes que cobrem meia polegada sob a coxa esquerda.
4. Eu sempre quis fazer parte da sociedade ou parte das pessoas.
5. Demora menos de 5 minutos por uma hora (e às vezes ainda mais se você sair de casa).